返回资讯中心
外部精选
大数据
#数据科学#机器学习

Abacus.AI 对三个开源模型做相同微调,Smaug 系列提升点各不相同

来源标题:Where Does Abacus.AI’s Smaug Model Improve Performance the Most?

Abacus.AI 用同一套微调方法处理三个不同的开源权重模型,结果各模型的提升方向完全不同。Smaug Flash 在智能体编程、AutomationBench 和 NL2Repo-Bench 上分别提升 14.3、13.7 和 19 分;Smaug Mini 则在数学、推理和语言上各提升 3.5、2.8 和 2.7 分,但智能体编程分数下降 0.6 分。Smaug Agentic 仅提升 0.3 分,但每任务 78 个智能体步骤、7 小时以上运行时间和零基础设施错误。

KDnuggetsKDnuggets2026/11/11 · 6 天前5 分钟阅读

以下正文由 AI 翻译自 KDnuggets(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Smaug 系列中每个版本的提升幅度,取决于该版本微调时所针对的具体短板。例如,Smaug Flash 在其同类模型中提升最为显著:LiveBench agentic coding 提高 14.3 分,AutomationBench 提高 13.7 分,NL2Repo-Bench 提高 19 分。这得益于原模型在扩展的多步骤 agent 工作流方面的不足得到了改善。而 Smaug Mini 则在数学(+3.5)、推理(+2.8)和语言(+2.7)方面表现出提升。尽管只有 280 亿参数,它在指令遵循和岗位级自动化上击败了前述的前沿闭源模型。不过,与其原始模型相比,Smaug Mini 在 agentic coding 上的得分下降了 0.6 分。还有一个特例是 Smaug Agentic,它仅提升 +0.3 分,但运行性能很高:每个任务 78 个 agent 步骤、7 小时以上的运行时间,且零基础设施错误。

这些结果之所以引人注目,是因为不同模型之间差异明显。相同的训练方案,在不同模型上会因该模型的具体限制而呈现不同效果。结果中也包含了测试过程中性能没有提升的部分。例如,Kimi K3 基础模型在 Terminal-Bench 2.1 和 MMMU-Pro 上优于 Smaug Agentic,而 Smaug Mini 在 LiveBench agentic coding 上则出现了一定程度的性能下降。把这些局限性一并纳入,使本次评估的结果更加贴近现实。

对于希望评估各类开放权重模型在 agent 应用中表现的开发者来说,Smaug 系列的结果会很有参考价值。这些结果并非要找出适用于任何场景的最佳模型,而是帮助理解在某些特定情况下哪些模型可能更合适。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →