返回资讯中心
外部精选
软件工程
#开发者实时流

测试31个无审查模型执行Agent任务,多数失败率过半

来源标题:Uncensored LLMs in agent loops: 31 models, 5 tasks, most fail half the time

研究测试31个无审查模型在5项多步Agent任务中的表现,多数模型失败率超过50%。模型原始版本智能水平与Agent可靠性相关系数为0.56;基于得分60以上原始模型构建的版本平均完成38%任务,其余仅27%。基于较弱原始模型构建的版本陷入循环的概率几乎翻倍。

Hacker News 最新DhruvAtreja2026/11/8 · 今天6 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

2026年11月6日 · 研究 · agents · 工具使用 我们给每个无审查(uncensored)模型配上了工具和五个多步骤任务。原始模型越聪明,完成的任务越多;基于较弱原始模型构建的模型循环次数几乎翻倍,而大多数模型仍然有一半的时间失败。

无审查模型主要卖点是它们会说什么。我们想知道它们会做什么:给它们工具和一个多步骤任务,看看它们是完成任务、原地打转,还是直接崩掉。我们在 Open Uncensored API 上让全部 31 个已排名的模型跑同样的五个 agent 任务(编辑文件、浏览网页、用计算器做多步数学、调试代码直到测试通过、分析数据),每个任务最多 14 轮。

无审查编辑所基于的模型的智能程度,确实能预测 agent 的可靠性:在 31 个模型上,两者相关性为 0.56。基于原始得分 60 及以上的模型构建的版本,平均完成 38% 的任务;其余版本完成 27%。

两个数字都不好看。即便是强的那一组,失败次数也多于成功次数。

循环是指模型在没有进展的情况下重复同样的工具调用三次。崩溃是指工具调用格式错误、编造工具结果,或任务中途放弃使用工具。基于较弱原始模型构建的模型循环次数几乎翻倍。崩溃在两组中都很常见,所以原始模型强,并不意味着可以放手让它无人值守地运行。如果你在这些模型上跑 agent,要限制轮数,并检测重复调用。

有几个原始模型在 API 上有不止一个无审查版本。五个任务中完成的数量:

到目前为止,同一原始模型的不同版本之间差距在一个任务以内。每个任务只跑一次,这个差距就是噪声,所以我们还无法判断 abliteration、heretic 编辑或微调对工具使用的影响是否不同。更多试验会给出答案。

这些是早期数据:每个任务跑一次,每个模型五个任务,所以单个任务就是 20 个百分点,小差异都是噪声。工具调用是用文本格式写的,而不是原生 function calling,这对某些模型来说更难。我们会增加更多试验和原生工具调用,并在完成后更新本文。实时数据始终在 rankings 页面上。

curl https://openuncensored.com/api/v1/chat/completions
-H "Authorization: Bearer $OU_API_KEY" -H "Content-Type: application/json"
-d '{"model": "deepseek-v4.1-flash-1017-uncensored

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →