返回资讯中心
外部精选
软件工程
#开发者实时流

实验发现十款AI系统对专业任务给出同质化建议

来源标题:When AI Knows More Than It Can Offer

一项针对ChatGPT等十款知名AI系统的实验发现,面对同一专业任务查询,所有模型给出了几乎相同的推广方案,且偏离了实际需求。测试要求为一位文学译者制定触达出版社的推广计划,但各系统输出的方案更像面向博主或导师的通用场景,而非解决译者向出版商销售服务的具体问题。

Hacker News 最新Aldus5512026/11/15 · 2 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一项针对十个知名 AI 系统的单一实验揭示了一个可能远比孤立幻觉更为严重的问题:模型能够用一个普遍的、统计上熟悉的场景来替代特定专业任务的解决方案。

作为一项实践实验,研究者向十个知名 AI 系统(其中包括 ChatGPT)提出了同一个查询: 为一位从事散文、诗歌和随笔翻译的英语专业文学翻译制定一份详细的推广计划,具体目标是触达编辑部与出版社。

然而结果却出人意料地单调。十个系统在略有差异的情况下,几乎提出了同一个推广方案,而这个方案更像是为博主、导师或教育项目作者量身打造的。

这些建议本身未必不好。问题在于,它们几乎解决不了所设定的任务。

一位想把服务卖给出版社的翻译,与一位想向自己的受众销售翻译知识的专家,处在不同的市场中。他们有不同的目标群体、不同的获客机制,以及不同的推广效果评判标准。

实际上,AI 忽略了这一区别。

乍看之下,所发生的一切可以用营销建议的专业化程度不足来解释。但问题恐怕更为深层。

模型并非只是提出了选择不当的推广工具。它们实际上用另一个任务替换了原始任务——一个它们从训练数据的统计规律中更为熟悉的那个任务。

系统本质上回答的不是“一位专业文学翻译如何打入出版市场?”,而是“一位专家如何在互联网上自我推广?”

这可以被称为目标任务的替换(目标替换),或者更广义地说,是策略选择错误(策略选择失败)。

模型识别出查询中的各个要素——推广、专业活动、专业能力、翻译——并激活了一套熟练掌握的营销活动脚本,却未能对服务提供者、客户与市场之间的关系进行必要的分析。

其结果是一个形式上契合查询主题、却不符合其商业目的的答案。

正因如此,这类错误才格外难以察觉。用户面前呈现的既不是一段语无伦次的文字,也不是明显的幻觉,而是一份格式相当专业的计划,带有标题、阶段和具体建议。只有当人们检验所提议的行动究竟能在多大程度上导向所需结果时,它的缺陷才会显露出来。

这就引出了关于现代语言模型训练机制的问题,尤其是 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习),以及其它利用偏好和评分的后训练方法。

需要明白的是,评分者并不需要是博客或营销方面的专家,这种效应依然会产生。

只要在评估答案时,某些特质能系统性地获得优势就足够了:清晰的结构、完整性、友善、实用建议、自信的表达,以及使用熟悉的工具来解决问题。

这类标准是有用的,但它们并不总能让人评估最重要的一点:模型是否真正解决了用户设定的任务?

例如,对一位文学翻译的查询,两个答案可能大相径庭。

第一个建议研究出版市场、确定合适的编辑部、准备专业作品集、建立有针对性的联系人数据库、制定接触编辑的策略,并建立获取首批委托的机制。

第二个建议写博客、发布建议、展示专业能力,并逐步打造个人品牌。

第二个答案可能看起来更通用、更友善、建议也更丰富。如果主要评估的是形式和 advice 的普遍有用性,而非其与特定商业任务的契合度,那么它很容易被误认为一份好的营销计划。

由此产生一个假设:训练和评估机制可能无意中强化的与其说是专业能力,不如说是某种在浅层评估下备受青睐的行为类型。

模型开始复现的未必是最有效的解决方案,而是带有以往被认可答案印记的解决方案。

这并不意味着 RLHF 必然导致这样的结果,也不意味着我们掌握了所有十个系统该行为具体成因的证据。然而,这一观察与针对不完美指标进行优化以及偏好偏差的已知风险高度吻合。

这个实验的另一个方面尤其有趣。

可以推测,模型拥有足够的知识来构建一套截然不同的策略。关于出版市场、编辑工作、专业作品集、翻译比赛、文学杂志以及与出版社互动机制的信息,对它们来说并非不可获取。

然而,信息的可获取性并不等于模型能够将其正确应用于特定任务。

这里有必要区分两个层面: 模型可能拥有庞大的信息库,却在实践中实际提供的解决方案空间十分有限。

这可以称为决策层面的平均化。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →