
Thomas Kim 发布 Qwen3.8-27B-pi,面向智能体编程的推理模型
来源标题:Qwen3.8-27B-Pi: Effort-Ordered Reasoning for Agentic Coding
Thomas Kim 发布 Qwen3.8-27B-pi,这是基于 Qwen3.8-27B 微调、面向智能体编程(agentic coding)的推理模型,核心是「努力排序」(effort ordering)训练方法。模型提供 BF16、FP8、GGUF 三种格式,并在 Terminal-Bench 2.1、GPQA Diamond、SciCode 上做了评测。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Qwen3.8-27B-Pi:面向智能体编程的按力度排序推理
返回文章 a]:hidden"> Qwen3.8-27B-pi:面向智能体编程的按力度排序推理 社区文章 已发布 2026年9月30日 点赞 17 +11 Thomas Kim bytkim 关注 :last-child]:mb-0"> 摘要 背景 什么是 Pi? Base 上的力度排序 目标属性:力度排序 SFT 数据 训练 检查点选择:loss 不等于智能体成功率 SFT 如何改变了行为 SFT 修复了什么,没修复什么 RL 核心问题 算法:力度排序奖励 QA-flow:让奖励信号可信 训练一致性 RL 训练过程 候选选择 评估 Terminal-Bench 2.1 GPQA Diamond SciCode 行为差异 部署格式 FP8 GGUF 局限 经验教训 未来工作 致谢 参考文献 附录 A:策略优化细节 附录 B:SFT 检查点扫描 附录 C:QA-flow 详解 1. 审计:任务即契约 2. 修复:角色分离,轮次有界 3. 进化:输出必须一致 4. 资格认定:完成进化不等于通过 模型:BF16 · FP8 · GGUF · 集合 摘要 Qwen3.8-27B-pi 是基于 Qwen3.8-27B 微调的模型,面向 Pi 智能体框架中的编程工作:阅读代码仓库、编辑文件、运行工具并处理工具反馈。 问题在于:Base 没有让各力度级别保持有序。low 常常比 medium 花更多推理,而在 Terminal-Bench 2.1 上,medium 通过的任务反而比 low 少。Pi 分两个阶段解决这个问题: Base 与 Pi(FP8 权重)的通过率对每次尝试推理 token 数。L/M/X = low、medium、xhigh。 力度排序成立。在 Terminal-Bench 2.1、GPQA Diamond 和 SciCode 上,Pi 的平均推理 token 数和通过率从 low → medium → xhigh 均非递减(在 Terminal-Bench 上,low 和 medium 的推理量接近持平)。 Terminal-Bench 2.1。Pi 在 medium 下与 Base 在 xhigh 下持平(67/89),输出 token 数少约 41%。 SciCode。Pi 在每个力度级别上都解出更多子问题。在 xhigh 下,输出 token 数比 Base 少约 23%。 格式。BF16、FP8(约 30.4 GB),以及 17 个 GGUF 变体(约 9–29 GB),均在完整的 Pi 智能体会话上校准。 背景 什么是 Pi? Pi 是 Mario Zechner 开发的开源(MIT)、基于终端的编程智能体,也是本模型所针对的框架。它刻意保持核心精简,把其他一切推入扩展。 Base 上的力度排序 术语:力度级别是向框架请求的思考级别。推理 token 是 thinking 块内的 token,不包括回答文本、工具调用和观察结果。除非另有说明,数值为任务集上的均值。 对 Qwen3.8-27B 的初步评估显示,请求的力度级别并不能可靠地决定它推理多少。在五个评估集上取平均: Base Qwen3.8-27B。各力度级别下每个任务的推理 token 数,分别统计所有尝试和仅通过的尝试。五个评估集的未加权均值;每任务 token ≈ 每轮推理 token × 每任务轮数。 请求的力度级别并不是实际推理花费的可靠代理。在 low 下,模型并没有花更少的 token;它只是花得效率更低。 目标属性:力度排序 对于给定的任务集,提升到更高的力度级别应当至少花费同样多的推理,并至少解出同样多的任务: TˉL≤TˉM≤TˉH,pL≤pM≤pH \bar T_L \le \bar T_M \le \bar T_H, \qquad p_L \le p_M \le p_H TˉL≤TˉM≤TˉH,pL≤pM≤pH 其中 L L L、M M M 和 H H H 分别是 low、medium 和 xhigh,Tˉe \bar T_e Tˉe 是每任务平均推理 token 数,pe p_e pe 是力度级别 e e e 的通过率。较低级别花费超过较高级别即为排序违规。 Base 仅在 xhigh 下满足这一性质。low 比 medium 花费更多却没有解出更多任务,消除这一违规正是本工作其余部分要解决的问题。 收集会话 在规模化收集之前,我先让未调优的模型在一小组任务上跑完整的 Pi 工作流,以确认框架、工具和验证器端到端可用。随后收集覆盖两类任务: 会话在全部四个推理级别(off、low、medium 和 xhigh)下收集。每个都是一个完整会话(检查代码、进行编辑、运行工具并响应其反馈),而不是孤立的答案。 什么让一个会话可用 每个会话都必须通过三道关卡: 未通过任何一道关卡的会话被排除。通过的会话被划分为训练集和用于检查点评估的留出验证集。 训练 SFT 是在所有线性层上进行的 BF16 LoRA 训练,对收集数据大约过一遍,工具观察结果在 assistant loss 中被掩码。适配器触及模型参数不到 1%,并且可以合并回基础权重。 检查点选择:loss 不等于智能体成功率 每 5 步,检查点都会作为智能体在一个由 16 个任务组成的留出面板上、以三个推理级别进行评估(每个检查点 48 次试验),共 21 个检查点。 上:验证 loss。下:在 low、medium 和 xhigh 上汇总的智能体通过率;虚线为 Base(C0)。 更好的 token 级 loss 并不意味着更好的智能体。验证 loss 稳步下降(C5 的 0.2817 → C80 的 0.2749),而通过率在 52% 到 63% 之间波动,最终检查点(C96)甚至低于 Base。 各 SFT 检查点在各力度级别下的每轮推理 token 数。 更多 SFT 并没有恢复排序。在 21 个检查点中有 19 个(包括 Base 和 C5),low 的推理花费超过 medium,而 xhigh 始终居首。消除这一违规需要不同的目标。 在 loss 被排除作为指引之后,我按智能体行为筛选出三个候选: 这些候选被送入更大规模的筛选运行:在全部 89 个 Terminal-Bench 2.1 任务上以 medium 推理级别进行,按 pass@1 评分: C5 通过最多且花费高效,因此成为 SFT 候选。这并不证明五步在一般情况下最优。 SFT 如何改变了行为 在 medium 推理级别的 Terminal-Bench 2.1 筛选运行中(89 个任务,pass@1),Base 与 C5 的对比: SFT 修复了什么,没修复什么
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。