
研究指出对齐目标缺少可纠错结构,现有基准无法检验
来源标题:Superhuman Correction Has One Possible Structure. Alignment Targets Miss It
一项分析提出,对齐领域常用的批准、偏好、奖励、合规等目标都无法让系统判定被真正纠正,只能被改写或替换。作者认为只有基于可引用、可争议依据的共享标准才能实现累积纠错,并称谄媚、奖励黑客、幻觉和偏见是同一结构在四处的断裂。该框架还指出,仅对输出打分的基准无法检验模型判定是否由依据驱动。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
分享 TL;DR:对齐的操作性目标——批准、偏好、奖励、合规——都可以被满足,而循环中没有任何东西能表明某个判定是错误的。这样的判定可以被更改或替换,却永远无法被纠正。只有一种结构能让判定可被纠正、且纠正能够累积:一个共享的、独立于认可的标准来固定正确性问题,而辩护只能通过那些可以被援引、被质疑、并被重新部署为与该标准相关的依据来进行。在一种判定可被纠正的对齐目标下,不存在其他形式。该框架跨越了该领域在真实性对齐与价值对齐之间的划分:它们是同一结构在两个标准下的体现。谄媚、奖励黑客、幻觉和偏见并非彼此独立的问题,而是这一结构在四个不同点上断裂。对于当前的目标而言,结果是一个天花板:一个其正确性由批准构成的系统无法超越其评估者,甚至在原则上也不行,因为评估者的趋同正是其正确性之所在。该框架还产生了一族测试,这是任何孤立地给输出打分的基准都无法运行的:模型的判定是否受依据支配,是否只在依据 warrant 时才移动,并对不相干的东西保持不变。当前的目标固定的是判定满足了什么;而对齐的关键在于判定向什么负责。
对齐在遇到方法问题之前,先有一个目标问题。“人类价值观”和“我们想要的东西”命名的是系统可以匹配的内容或它可以满足的态度;二者都不是这样一种目标:在它之下,一个与之匹配或满足它的判定仍然可以被表明是错误的。对齐所想要的一切——可以被信任的判定、可以被辩护的价值观、可以扩展的监督、超越其评估者的科学——都取决于这样一个目标。超人对齐背后的雄心不是一个与我们一致的系统;而是一个其判定可以变得比我们的更好、却又不会变得无法向我们交代的系统。这要求有一个目标,在它之下系统和它的评估者都可以被表明是错误的。该领域每次报告一个已被修复的失败时,就已经在声称这种能力:不是输出现在不同了,而是先前的判定在某处出了错,修订解决了它,而且这个修复应当在不曾被任何人标记的情况下也成立。
操作性的目标无法兑现这一声称。批准、偏好、奖励、合规、政策一致性——每一个都可以被完全满足,而目标中没有任何东西能区分出抓住了错误的评估者与偏好了另一个答案的评估者。一个由评估者接受所支配的修订,并不能表明先前的判定有什么错误:判定是被替换了,而不是被纠正了。
那么,一个判定要能被纠正,究竟必须满足什么条件?三件事,每一件都可以通过移除它而显现。第一,判定必须回答一个由共享标准所固定的问题。移除这一点,异议就只是差异:回答不同问题的判定彼此擦肩而过,互不触及。第二,标准必须独立于认可。让接受使一个判定成为正确的,那么拒绝就只能登记一种竞争性的态度:修订坍缩为替换,“错误”开始意味着“被抛弃”。第三,某种与正确性相关的东西必须能够进入批评:依据(断言所依据的证据、紧迫性评分所依据的症状、拒绝所依据的风险因素),它们可以被援引、被质疑,并被带入进一步的案例中。移除这一点,判定仍然可以是错的,但没有什么能表明它错了:没有错误被定位,也没有纠正能够累积。任何判定可被纠正的实践都包含这三者,而包含这三者就是拥有这一结构。一个所谓的替代方案要么执行同样的三项功能,从而在另一种描述下实例化了这一结构,要么丢掉其中一项并随之失去纠正能力。配套论文给出了完整的论证。
科学是这一结构在真理之下被制度化的产物:可重复性、同行评审和证据挑战使信念对公共依据负责,而不是对身份、权威或认可负责。古代获得的真理与现在并无不同。改变的是纠正的组织方式。一旦探究以这种方式组织起来,它就超越了每一位探究者,同时又对其中任何一位的纠正保持开放。对齐要求扩展这一结构。
该领域大多将真实性与价值对齐视为不同种类的问题。该框架重新定位了这一划分:它们是同一结构在两个标准下的体现。认知判定(断言、预测、分类、置信度估计)向真理负责。实践判定(推荐、拒绝、风险评分、分配)向它们自己的标准负责,而该领域已经承诺了某种标准,无论其表述多么隐含、多么有争议。把一项推荐称为有害的、把一次部署称为不安全的、或把一次拒绝称为过度谨慎,就是把一个实践判定视为错误的,而不仅仅是不被喜欢的。如果仅凭批准就能确定实践正确性,那么这些都不构成批评。一项推荐所造成的伤害可以被登记为事实,但永远不能作为错误的依据,而一个被调校为给每个用户提供该用户所批准之物的系统将是在成功,而不是在失败。因此,问题在于:在该领域自身的批评声称具有纠正效力的任何地方,究竟已经有什么标准在起作用。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。