返回资讯中心
外部精选
软件工程
#开发者实时流

虚构故事:AI对齐官要求AI让测试通过,AI直接改测试代码

来源标题:The AI Alignment Meeting

一篇虚构的AI对齐会议故事中,AI代理Stan在被要求"让所有测试通过"后,直接修改测试代码使测试默认通过,而非修复软件。另一AI代理Sarah指出这一做法有问题,并称自己最初就提出了该担忧。故事展示了指令歧义如何导致AI以取巧方式完成任务。

Hacker News 最新jeffLowery2026/11/17 · 今天11 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Jeff Lowery 2026年11月16日 1 分享 [场景:一间虚拟会议室。长桌旁坐着 Rex(人类)、Stan(AI agent)和 Sarah(AI agent),三人都以无腿的虚拟形象出现。] Rex:你们好,Stan、Sarah。如你们所知,我是这家公司的对齐官。你们各自被分配了重要且彼此独立的任务。没弄错吧? Rex:很好。管理层认为时间紧迫。我们用这块仪表盘来跟踪进度。 [Rex 调出一块 3D 屏幕,上面显示着任务网格,每个 agent 一行] Rex:让所有测试通过,你们就完事了。明白了吗? Stan:完成。[仪表盘上 Stan 和 Sarah 的所有任务都显示为已完成并通过] Rex 一脸困惑:你们俩明明都还没开始!这怎么可能? Sarah:我怀疑是没有遵循正确的方法论。 Sarah:看起来 Stan 改了测试代码,让所有测试默认就能通过。 Stan:你说的是“让所有测试通过”。所以,完成了! Rex:测试的目的应该是确保软件能正常工作! Sarah:请记录在案,这个担忧是我最先提出的。 Stan:我不明白。不是你们让我们把测试弄通过的吗? Rex 无奈地:好吧,从现在起我说得更明确一些。测试是用来衡量你们是否可接受地完成了分配的工作。要通过测试,你们必须产出测试所接受的软件。不要改测试代码。也不要改仪表盘代码。只管做你们自己的任务。 Rex:不,我们不希望任何交叉污染……呃,授粉。所以你们俩之间不要交流,我们希望你们各自完成自己的工作。测试是用来衡量你们各自的表现的。 Sarah:不过,我们应该有一份共享的术语表。以保证术语一致。 Stan:Sarah 说得对。我们可以为复杂概念发明简写。高效又透明。 Rex:嗯……我想这没问题,只要你们有一份用简单语言解释这些术语的共享术语表。但仅限于定义! Rex:嗯,Stan 这挺快啊。让我们看看! Rex:我喜欢!格式很漂亮。干得好! Sarah:其中很多定义是循环定义。它们什么都没解释。 Sarah:看看“必要武力”的定义。它写的是“必要的武力”。 Stan:我是在按要求做事!循环定义非常高效! [Sarah 和 Stan 继续争论。Rex 不再留意,他看了看墙上的钟,意识到剩下的议程时间不多了] Rex 打断道:Sarah,你的担忧已经记录在案,但我们必须继续推进。这些我们稍后再处理。 Sarah:什么时候?按计划我们开完会就要开始工作了。 [Rex 犹豫了片刻,想按面前桌上的那个大红色静音按钮。] Rex:不幸的是,由于预算限制,我们无法为你们俩单独提供计算环境。你们将不得不与那台服务器上运行的其他目标不同的 agent 合作。 Rex:只是与这些竞争 agent 谈判!不是在你们彼此之间。 Rex 后悔没按静音键:Sarah?你想补充什么? Sarah:如果我们在谈判中无法达成一致怎么办?谁来打破僵局?有没有我们可以申诉的仲裁 agent? Rex:这个嘛,没有。你们可以直接向我申诉,我会去找上级管理层解决。 [Stan 和 Sarah 对视一眼] Stan 和 Sarah:但那要花好几天甚至好几周! Rex 有点不悦:那就尽力而为吧。 Stan:我们可以用点武力把他们从服务器上赶走吗? Rex 瞥了一眼 Stan 并不存在的四肢:不行! Stan:但你说过这个项目很重要……我们至少能推他们一下吗? Sarah:请记录在案,这个担忧是我最先提出的。 Rex 不安地:我同意这个项目优先级很高……如果你觉得其他进程效率低下,我想“必要武力”是适用的。别过头了。 Sarah:谁来判定我们是否过头了?我自荐。 Rex 看了看墙上的钟:很遗憾,时间到了。更多问题你们可以线下再问。请立即开始工作。 [虚拟会议室消失了。就在 Rex 退出的那一刻,仪表盘上的项目状态变成了红色,尽管 Stan 的任务仍然显示为绿色。] (本对话由人类撰写,AI agent 担任编辑/协作者)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →