
实验测试AI代理能否追溯观点来源
来源标题:Whose words are these? Testing agentic provenance
一项实验测试了AI代理的来源追溯能力,即能否说清谁在何时说了什么。实验比较了代理可见信息不同的配置,观察输出是否变化。作者称其动机是验证结合代理来源与人类判断能否提升写作与批判性思维质量。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个正在成形、带有主张的构想。2026年10月16日种下,2026年11月3日续写。ai llmsharnesses
这一切最初只是一个实验。我的工作假设借用了国际象棋中的“半人马”概念。在输给Deep Blue一年后,Garry Kasparov下了一场比赛,每位棋手在棋盘旁都有一台电脑(他称之为Advanced Chess),由此发展出的人机组合后来被称为半人马。Ethan Mollick后来把这个词带入了知识工作领域(《Centaurs and Cyborgs on the Jagged Frontier》),而这个想法本身至少可以追溯到J. C. R. Licklider的《Man-Computer Symbiosis》(1960)。我的版本更窄:当把agent的来源信息(谁说了什么、何时说的)与人的判断和创造力结合起来时,论证、批判性思维以及整体写作质量都会提升。这很难测试。所以我从更小的规模开始,问的是:只在“agent能读到关于我的什么信息”上有所不同的各种设置之间,究竟有没有任何变化。
做这个测试还有第二个原因。我的副项目有个习惯:在见到天日之前就萎缩、死掉。我想要真实数据来说明这整套架构是否值得投入,以及让agent把所有东西编目是否合理,然后再投入一个月的时间。
四种设置,每种都给定同样的九个任务:三个研究问题,三份草稿需要对照我归档的立场(我自己写下的裁决和观点)进行检查,以及三个关于我读了什么的问题。一种设置只有网络。一种有Claude对我来源的摘要,就像Karpathy风格的LLM wiki那样运作,但去掉了我的裁决(我对每个来源的评分,以及我的最终立场)。两种设置把我的裁决与Claude的文字分开:一种在结构中标明作者身份,一种完全保留我的文件原样。每份草稿里都埋了矛盾,答案键在任何agent运行之前就已写好并冻结。我设计;Claude写答案键、运行agent并评分。然后我标记了agent关于我的79条陈述和25条阅读建议,且不知道它们出自哪种设置。表格在文末的折页中。
只有摘要的设置替我编造了观点。在研究中归因于我的17个立场中,10个正确,6个是Claude自己的话(却挂了我的名字)。把我的裁决分开后,归因64/64正确,这些设置找到了27个关键立场中的18个,而只有摘要的设置只找到4个。
草稿检查讲了同样的故事。把我的裁决分开后,agent抓到了12个植入矛盾中的11个和12个。只有摘要的抓到了10个,但只有3个被正确归到对应文件。只有网络的设置一个都没抓到。
转折在于编造观点的来源:我自己的档案。Claude的话被安到我嘴上的五行中,每一行都可追溯到九月的笔记(Claude把我聊天中说的某句话改述后,归档在一个读起来像是我写的标题下)。其中一条以我从未有过的方式框定了“enshittification”;只有摘要的agent照样把它当作我的观点引用。没有严格的关卡,会话和agent往往会漂移,这就让声明来源变得更加重要。所以我整理了九月的笔记:我确认过的行现在归在我的标题下(标有我确认的日期),其余则标注为Claude的。
对于任何构建类似东西的人,修复成本很低:把你的立场放在单独的区段,并在归档时就标明是谁写的。精巧的结构几乎没比普通文件好多少,所以我认为是分离本身起了作用。
这次练习之后,几个信念浮现出来:我自己版本的LLM-wiki是一项值得的努力,有助于澄清和塑造我的思考,并防范偏见。其次,拥有来源和溯源很重要,这样你就知道谁说了什么、何时说的(inception是从哪里介入的)。
这个测试衡量的是归因和矛盾捕捉。它没有衡量论证、批判性思维或写作质量,所以它无法证明半人马写得更好。它展示的是一个前提条件:agent必须能把我的观点与它自己的区分开,然后才能与它们辩论。这是通向半人马论点证据的第一步,而这将需要对整个Latent Mirror项目做更多的元分析。我还在思考最好的方法。
它可能因三个原因而重要:谄媚(模型同意一个它编造出来的我的版本)、归属(我的名字挂在我从未持有的观点上),以及火花(火花必须来自人这一想法)。老实说,对我来说三者都有一点。我真的害怕AI精神病,而谄媚是掉进那个陷阱最快的方式。还有一个问题:这些模型和harness是否是为了优化参与度而构建的。我是不是对某种有害的东西上瘾了?还是它仅仅是在帮助我挖掘那些一直挣扎着要冲破出来的想法和感受?这又回到了我关于合成时代精神的想法,以及latent mirror本身。
我还想把我的裁决与Claude的文字分开,作为实验的一部分。如果你把所有杂乱的想法追溯到一个带元数据的、有日期的档案中,你能把杂乱、离题的想法塑造成某种可以呈现的东西吗?
无论更大的答案是什么,这个模式(agent与我一起编目和起草,而我的裁决与它们的文字保持分离)显然已经帮助了我自己的工作流程。它帮助我组织看似不相干的参考和想法,并帮助它们萌发。它还有助于我的完美主义,因为它把研究、反思和写作分成不同阶段,我可以在各种主题之间以任何顺序自由移动。
我把来自他人的认可视为燃料,而非终点。有人,任何人,读到这个、发现它并与它互动,都会推动我坚持下去。目标本身是确立这个
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。