
文章质疑企业AI应用中的「人在回路」说法
来源标题:The "Human-in-the-Loop" Fallacy
一篇评论文章指出,「人在回路」这一在企业AI讨论中被反复引用的说法存在谬误。文章认为,这句话常被高管用来安抚员工,实际上却是把公司最有价值的人安排到机器即将取代的任务上。文章还提到,欧盟AI法案已将人类监督高风险系统写入法律要求。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
“仍然会有人在环路中。”这可能是企业界讨论AI应用时被重复最多的一句话——高管们用这句话来解释为什么采用这些系统是负责任的,以及为什么他们的员工不会有事。然而,这个本应令人安心的说法,往往等同于把公司最有价值的人安排去围绕那些机器即将从他们手中夺走的任务打转。思想领袖们经常宣称,未来人类员工的角色将是填补机器无法填补的空白。例如,一家领先的风投机构曾提出,在知识经济中,很快会出现四类主要的人类工作者:在AI不可信时仍承担责任的人、设计机器将运行的工作流程的人、管理AI代理无法处理的关系的人,以及验证机器产出的人。这种未来愿景如今出现在咨询框架、学术预测和AI供应商的部署指南中。监管机构甚至将其写入法律:欧盟《人工智能法案》要求对高风险系统进行人工监督,而“human-in-the-loop”已成为负责任的AI应用的近乎通用的代名词。这类预测都涉及同一逻辑的某种版本:找出AI尚不能做的事,然后定义人们可以做什么来填补这些空白。在这种思维方式中,人代表的是包裹在不完美自动化外面的一层安全层。在Fiverr上,增长最快的写作需求是“humanize AI content”(搜索量六个月内上涨641%)。自2023年以来,校对AI生成的文案本身就是一个服务类别。在受AI冲击尤为严重的翻译领域,修正机器产出的任务如今约占欧洲语言公司收入的四分之一,而传统翻译逐年萎缩。甚至那些得以幸存、围绕修正机器产出而设计的工作岗位,其内容也在缩水,要求的技能更少,几乎不需要新技能。让人填补空白的想法听起来很审慎,并在许多人担心自己的工作能否保住时承诺了连续性。但问题在于,它从现有工作流程出发,问代理能吸收哪些任务,然后把剩下的分配给人类。在这种视角下,未来的组织不过是今天的组织减去自动化任务再加上一层监督。人完全没有作为新的生产能力来源出现。这种观点有问题。数十年的自动化研究表明,更好的自动化系统会导致更差的人类安全层;随着自动化变得越来越可靠,监控它的人会变得自满,技能退化,注意力下降。四十年前,Lisanne Bainbridge将这种现象称为“自动化的讽刺”:你自动化得越多,就越依赖自动化恰恰夺走的那些人类能力。AI加剧了这个问题。它的失败听起来和成功一样自信、流畅、结构良好。仅仅评判连贯性的审核者无法评判正确性。即使验证有效、人们抓住了错误,每一次纠正都会被记录为训练数据。人处理的每一个例外都在教系统处理那个例外;数据越好,未来需要的人工验证范围就越小。例如,xAI在2025年9月解雇了约500名通用型“AI导师”,同时宣布计划将专业层级扩大十倍。在所有可以提名为人类工作未来的角色中,这些角色的半衰期无疑最短。然而,“human-in-the-loop”式组织的更大问题在于,整个蓝图把这场转型读反了。它围绕机器尚不能做的事这一不断收缩的前沿来组织公司。但这里有一个更大的机会。因为AI消除了约束,它使工作的新组合、新的决策权和新的价值形式成为可能。因此,组织有机会围绕这些新决策——而不是旧工作不断缩小的残余——进行重组和“重新捆绑”。这就是本文的主题。两次转型。每当一种通用技术进入一个行业,企业都会面临类似的组织选择。随着机器能力增强,它们消除了曾经限制工作方式的约束。这使人们能够进入以前遥不可及的更高价值角色。消除执行约束扩大了组织能够承担的选择范围。想想最近电影制作界发生的事。2019年,《曼达洛人》展示了巨型LED屏幕如何实时显示计算机生成的环境,让电影制作者直接在镜头前捕捉复杂的视觉效果。表面上看是视觉效果的创新,实际上也是电影制作组织方式根本性变革的开端。事实上,它代表了一场更大的变化:以前推迟到后期制作的决策被搬到了片场。场景的外观、灯光、构图以及最终图像的很大部分,现在都可以在表演进行时创建和验证。电影制作者如今可以在精心构建的环境之间切换,而无需搭建新布景或等待数月的特效工作,使长片规模的世界构建在电视预算下成为可能。视觉效果艺术家得以从制作后修复图像,转变为帮助决定镜头最初要捕捉什么。约束被消除后,有意义选择的范围和位置发生了变化,电影制作组织围绕现在负责做出这些选择的人进行了重建。业内现已涌现出新的角色,将摄影、制作设计、视觉效果和计算技术重新组合,其中包括虚拟制作总监
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。