Cory Doctorow 批评 AI 被强行塞进收据应用

顶级来源： 无 --> “AI 正在被强行塞进我们喉咙里”可以有好几种意思。它可以指老板要求我们在工作中以鲁莽或荒唐的方式使用 AI： https://www.404media.co/manifestos-fear-and-loser-thinking-inside-protons-ai-reckoning/ 它也可以指埃隆·马斯克和纳斯达克串通一气，迫使普通退休储蓄者为他的阿联酋和科技寡头哥们儿买单： https://www.nytimes.com/2026/06/05/technology/spacex-indexes-401k.html 这些可以说是 AI 被强行塞进我们喉咙里最重要的方式，但最显眼的被征召进“数字往上走”AI 工程的形式，发生在用户界面层面。这种 UI 上的鬼把戏早在 AI 之前就有了。十多年来，科技公司及其高管一直串通起来诱骗、胁迫、强迫你使用他们想卖给投资者的新功能，把这些功能包装成公司的未来。

还记得 Google Plus 吗？那个号称要干掉 Facebook 的社交层，本想让 Google 进入一个价值数万亿美元的新市场。时任 Google 副总裁的 Bradley Horowitz 要求每个产品团队把 G+ 塞进自己的产品里，并把他们的奖金与 G+ 使用率挂钩（在 Google 这样的公司，奖金可能远超基本工资）。

Google 的员工聪明又足智多谋，如果你告诉他们，只要让用户点击 Google Plus 按钮就能让收入翻倍，他们会想出各种办法让你去点。其中一些招数无疑是 Horowitz 所期望的：用创新而有创意的方式，通过 G+ 功能为 Google 的核心产品增值。

但当赌注如此之高时，古德哈特定律就不可避免地发挥作用：“当一个衡量标准变成目标时，它就不再是一个好的衡量标准”： https://en.wikipedia.org/wiki/Goodhart%27s_law 让用户点击 G+ 按钮最简单的方法，就是把用户最常点的那个按钮替换成 G+ 版本。你不是以让用户成为 G+ 粉丝的方式介绍 Google Plus，而是通过诱骗他们点击一个没用的按钮来让他们恼火。

从产品经理的角度看，为了保证自己的工资翻倍——因为你达成了“关键绩效指标”（KPI）——做出任何必要的改动都是值得的，即使这要以用户对产品的忠诚度为代价。以牺牲一半工资为代价来维护用户忠诚度，是一笔糟糕的交易。

当机器学习系统这么做时，我们称之为“奖励黑客”（reward hacking）。AI 程序员为系统创建一个“目标函数”，即一个系统会尝试用各种策略去提高的单一数字；然后，AI 程序往往会找到歪门邪道的捷径让这个数字上升，而不论它是否实现了程序员的目标： https://en.wikipedia.org/wiki/Reward_hacking 例如，如果你让 AI 想办法以最短时间通关一款电子游戏，它很可能会发现一个 bug，让它对敌人攻击免疫，或者直接传送到游戏终点。为了避免这些歪门邪道的结果，程序员不得不为目标函数添加越来越多的具体限定：“在不传送、不发现无敌漏洞的情况下速通游戏。”

这不是没有原因的：许多科幻作家（包括我）都指出，科技老板对自己 AI 系统的恐惧，其实是他们对自己所经营的公司的挫败感的一种情绪溢出——在公司里，下属们也在进行着我们从聊天机器人身上看到的那种奖励黑客行为： https://pluralistic.net/2025/04/14/timmy-share/#a-superior-moral-justification-for-selfishness 尽管指标很容易被钻空子，科技老板们仍然坚持使用 KPI 来转移组织的优先级，并且他们使用与程序员防止奖励黑客 AI 相同的目标函数细化技术，来防止员工不择手段地达成 KPI。

这很大程度上解释了在手机上观看视频的体验。每当你收看流媒体平台上的节目时，你都被迫像对待底片一样小心翼翼地拿手机。如果你手的任何部位碰到屏幕的任何部位，你就会立刻被从正在看的视频带到一个完全不同的视频： https://pluralistic.net/2022/05/15/the-fatfinger-economy/ 更糟的是，在你的节目被这个新节目替换之后，没有明显的方法回到你刚才看的节目。这很奇怪，毕竟“返回按钮”自 1981 年以来就是计算机界面的一部分： https://www.merriam-webster.com/dictionary/back%20button 你没有返回按钮的原因就是奖励黑客。流媒体视频平台面临着巨大压力，要成功向用户推荐它们的旧片库，因为替代方案（委托制作或购买源源不断的热门新节目）非常昂贵。投资者非常看重流媒体服务的“成功推荐”率。

于是流媒体服务的老板们要求产品团队实现“成功推荐”。而“推荐一个节目”最简单的方法，就是在流媒体服务的 UI 上设陷阱，让你碰到屏幕的任何部位都会被带到一个你根本没想看的视频。

这是明显的奖励黑客行为，所以流媒体老板们细化了他们的目标函数：他们把团队的奖金与让你观看一个新视频达到最低时长挂钩。这反过来又触发了奖励黑客大战的下一轮交锋——产品团队取消了返回按钮。这给了用户无数条滑梯，把他们滑向一个新视频。而要回到原来的视频，用户被迫去爬一根涂了油的杆子。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）