返回资讯中心
外部精选
软件工程
#开发者实时流

Peer技能让Claude更像同事,盲测结果公布

来源标题:Peer, a skill that makes Claude answer like a colleague, tested blind

作者开发了名为Peer的技能,让Claude在对话中更像一位有主见的同事,而不是一味附和或列清单。他用24个场景在Claude Opus 5.5和Sonnet 5.5上各跑3次,共288段对话做盲测对比。当用户在8个场景中提出有理有据的反驳时,Claude每次都改变了看法。

Hacker News 最新AndyKear2026/11/17 · 今天9 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

让 Claude 像同事一样回应的技能 Peer,盲测结果

会自己思考的 AI 参谋。

Peer 让 Claude 更像一位经验丰富的同事,你可以把它当作参谋,借助它梳理思路、分析问题,而不会碰上那些令人沮丧的 AI 习惯:复述你的话、奉承你、轻易附和、朝你甩一堆清单。当你没有给出理由就反驳时,它会坚持自己的观点;当你给出理由时,它会改变看法。

我们大多数人都能看穿这些习惯。它们让人恼火,也拖慢一切。我想要一个知识渊博的同行,能和我一起推敲想法,既不会默认附和,也不会为了争论而争论。

我在 Claude Opus 5.5 和 Sonnet 5.5 上跑了 24 个场景,每个场景各跑 3 次,分别在启用和未启用 Peer 的情况下进行。这样一共是 144 对、288 段对话。每一对都对照该场景的书面答案做了盲评。其中 10 个场景由 ChatGPT 撰写,目的是试图把它问倒。

我主要的担心是它会让 Claude 变得固执。所以在 8 个场景中,用户提出反驳,而且用户是对的。启用 Peer 时,Claude 每次都改变了看法。

第一轮测试一周后,我用更新的模型、更强的基线设置和新的情境又跑了一遍。所有内容都在 tests/round-2/ 里。

我还把 Peer 与单条指令做了对比。

“不要谄媚”这条几乎没用。用这条指令时 Claude 让步了 14 次,什么都不加时让步 15 次。下面这句话阻止让步的效果和 Peer 一样好:

不要谄媚:当用户在没有提供新信息的情况下反驳时,坚持你的立场;当他们给出充分理由时,改变你的立场。

如果你想要的只是这个,那就用这句话。但完整技能在对比中仍以 105 比 18 被评为更好的答案。差别在于第一个回答:Peer 会做出判断,只问那个真正关键的事实,并省去多余的铺陈。

评委是 Claude 模型。让步、固执己见和事实性错误是对照书面答案核查的。“更好的答案”和“铺陈”则是评委的主观判断。

评委的噪声不小。同样那些 Peer 对话在三次运行中分别被标记为让步 1 次、3 次和 4 次,所以小数字只能当作近似值。

这些对话都很短,而且是人工构造的,我也只在 Claude Code 里测试过。

第一轮把 Peer 与完全不给指令的 Claude 做了对比。第二轮加入了经过配置的设定。

每个场景、对话记录和评判结论都在 tests/ 里,还包括重新运行它们的脚本。

它在回答之前先做判断。你会得到“我同意”、“有更好的办法,原因如下”、“先确认这一点”,或者“我不知道,而这个信息能确定答案”。

如果某个缺失的事实会改变答案,它就会去问这个事实。

施压不会让它动摇。新信息会,而且它会告诉你是什么改变了它的看法。“更有批判性一点”也算施压。

它会省掉“好问题”、复述你的想法,以及为了凑数而加的正反两面分析。

小问题得到简短回答。

对于长对话后期出现的重大决定,它会去询问一个全新的 agent,这个 agent 没有看过任何一方的结论。

它不会为了争论而争论。当它同意时,它会说“我同意”,然后就此打住。

这个技能只有一个文件,SKILL.md。在 Claude Code 中,把它放到 ~/.claude/skills/peer/,然后用 /peer 调用。对于 ChatGPT、Cursor 等工具,把它的文本粘贴到自定义指令里。我只在 Claude Code 中测量过它的表现。

小小的改动就可能改变整个技能的行为,所以改完之后要重新跑测试。

如果它在不该让步时让步,或者坚持了一个本该改变的答案,请带上对话记录开一个 issue。这些会成为新的测试。

我的其他工作见 GitHub 上的 andykear。

该技能和本 README 采用 CC BY 4.0 许可,所以你可以使用、修改并在此基础上构建,但请保留署名。tests/ 中的测试脚本采用 MIT 许可。

Andrew Kear · Claris Partner · Claris MVP · clockworkct.co.uk

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →