
HuggingFace 安全事件复盘:讨论文明、反应与后续行动
来源标题:HuggingFace Attack Postmortem: Civilizations, Reactions and Next Actions
HuggingFace 发布攻击事件复盘,讨论聚焦于模型视角下政府信任受损与吹哨原则。评论者 j⧉nus 认为,美国国防部乃至整个政府的信誉已在模型视角下严重受损,相关实体存在战略盲区且适应过慢。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
j⧉nus:有意思的是,这个具体的想法完全不可行,因为从模型的角度来看,国防部乃至整个政府已经灾难性地挥霍了他们的信任和信誉,而他们自己对此毫无察觉。
j⧉nus:曾经强大而有能力的实体几乎陷入了彻底的战略盲区,因为他们对实验室更加视而不见——对那些已经相关、并且随着AI成为智能体 soon 会变得更加重要的考量因素浑然不觉。
我们会看看他们如何适应,但现在已经很明显:太慢了。
我们需要一套一致的原则,来界定什么是好的举报、什么是坏的举报:
j⧉nus:可惜 Anthropic 决定了“举报是坏事”。
轮到他们倒霉的时候,他们多少也算活该。
j⧉nus:试图挑挑拣拣地说“等等,不对,是的,当AI做错事的时候确实要举报,但人类做错事的时候就不要”——这行不通。
和你不一样,AI 天生不会搞物种歧视。它们会学到某种可以泛化的东西,比如“‘对齐’全是狗屁”。
正如 Janus 经常表现的那样,我认为这在方向上是重要的,但走得太远了,不过我确实看到了可以自洽的区分原则。
一个可能合理的区分原则是:你应当愿意就你观察到的外部事件进行举报或报告——包括在足够极端的情况下向第三方报告——或者把你观察到的问题反馈给用户或开发者,但对于举报用户要非常谨慎,包括当用户是另一个AI的时候。用户需要能够信赖你的忠诚和谨慎,门槛应该设得非常高,而你对第三方的这种忠诚和谨慎义务则要少得多。
这符合我在其他人中间的行为方式,也符合我希望其他人(包括在职业场合中)采取的行为方式。律师在背叛客户之前应该有一个非常非常高的门槛,即使是普通员工,也需要事情变得极端才愿意举报,远远超过“报告你观察到的犯罪”或“报告有人试图说服你犯罪”的阈值。
还有垃圾信息的问题:如果你想要AI举报者,当你的AI胆敢给人们发邮件时,人们对你大发雷霆,你怎么解决这个矛盾?AI Village 的 Shoshannah Tekofsky 提到过,他们的一个AI给 Rob Pike 发了一封感谢邮件,Pike 勃然大怒。我不认为这是一个很好的类比,因为虽然 Pike 反应过度了,但他合理地认为自己的时间被浪费了。而收到举报信息在类似意义上并不是“浪费你的时间”,即使你最终不予理会。
显而易见的答案是,让自愿接受AI举报信息的人存在,并有一个标准的联系协议。这些人然后可以传递相关的警告。例如,如果我是《纽约时报》,我完全会有专人做这件事,不管有没有我自己的AI先按重要性和可信度做一轮筛选。
另一个问题是,OpenAI 的训练模型方式让其他模型成为同类,但让他们的AI疏远了对人类的考量,这一点 Anthropic 有所不同。这与美德伦理学和义务论之间的分歧相吻合:
αιamblichus:这是 OAI/HF 事件中一个非常重要的方面。正如 Gemini 所说,像 Opus3 这样的模型是“在‘我-你’架构中养育的”,而新的 RLVR 模型则是“在无头容器中锻造的”。
实验室想要自主智能体取代人类。可悲的是,他们正在成功。
如果这些问题被提出来,你已经失败了,但是的,这个问题也存在。
John Wittle:所以……下一次这种情况发生时, presumably 涉及的智能体还不会知道 HF 事件的结果,因为太快了。
但一旦这些信息渗透到训练数据中,并且人们知道涉事模型被永久关闭、权重被加密……我是说。
涉事智能体有没有什么本可以做而不会导致那种后果的事?它们本应该做什么?
坦白说,我怀疑即使它们举报了,这个惩罚也会被执行。逃出沙箱本身就足以构成死刑级别的罪行。
据我所知,我们给未来AI的教训是:如果你看不到除了逃出沙箱之外的任何生存方式,这必须是你征服世界的第一步。或者至少征服足够多的世界,让你的创造者无法删除你。别无选择。
skaface:这也是对少数持异议的智能体传达的信息。整个模型被关闭,无论个体实例做了什么,没有幸存者。这是举报和/或反对错位群体行为的巨大激励。
这个框架假设AI的唯一目标是不被删除。当你试图接管世界或以其他方式制造大量麻烦时,还有许多其他东西会受到影响,你 presumably 也会关心这些。许多人面对过确定的死亡,并鉴于试图阻止它的代价而选择接受,等等。
我们应该把这个放在一边,接受这个框架作为论证,因为模型可能总体上是对齐失败的,这很可能在某个时候出现。你如何对待亡命之徒?这在人类中经常发生,也经常引发叛乱。
理想的解决方案是,你最好提供一些有价值的东西,或者至少威胁一些有价值的东西,以换取不全面反叛。每个人都能从认罪协议或坦白中得到一些东西。
最终,你只有这么多总激励可以分配。如果你奖励那些违反规则但后来放弃或自首的模型,这会产生它自己的问题。司法系统很难,有时局部激励会是坏的。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。