返回资讯中心
外部精选
ai-models
#研究进展#模型发布#Agentic AI#AI Infrastructure#AI Shorts#Applications

Hugging Face 发布 Qwen3.8-27B-pi-adapted LoRA 适配器,SWE-bench Pro 通过率升至 64.7%

来源标题:New LoRA Adapter Lifts Qwen3.8 Coding Success From 39% to 65%

Hugging Face 的 harness-hub 团队发布 Apache-2.0 许可的 LoRA 适配器 Qwen3.8-27B-pi-adapted,专为 pi 编程代理调优。它将 SWE-bench Pro hard-51 的 pass@1 从 39.2% 提升至 64.7%,且 token 消耗约为原来的 4.5 分之一。该适配器基于 Qwen3.8-27B(LoRA rank 32),训练使用 2 块 NVIDIA B200,可在启用 LoRA 的 vLLM 或 llama.cpp 上运行。

MarkTechPostAsif Razzaq2026/11/18 · 今天14 分钟阅读

以下正文由 AI 翻译自 MarkTechPost(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Hugging Face 的 harness-hub 团队发布了 Qwen3.8-27B-pi-adapted,这是面向 Qwen3.8-27B 的 LoRA 适配器。它通过强化学习训练,可在 pi 编码 agent 内部工作。Qwen3.8-27B-pi-adapted LoRA 适配器只针对一个 harness,而不是通用聊天。对于运行本地编码 agent 的开发者来说,这正是重点。你保留开放的基础模型,换入一个小型、针对特定 harness 的适配器。

TL;DR

  • 规模:LoRA rank 32(alpha 64),作用于 Qwen3.8-27B,这是一个 27B 稠密混合模型,原生上下文 262,144。合并后的 BF16 checkpoint 约 54 GB。
  • 运行于:启用 LoRA 的 vLLM,或在 Q8_0 基础模型上使用 GGUF 适配器的 llama.cpp。推理 VRAM 未披露。训练使用 2 块 NVIDIA B200。
  • 性能:在 pi 内关闭 thinking 时,pass@1 大幅提升,且会话时长大幅缩短。
  • 最佳:SWE-bench Pro(hard 51)达到 64.7%,高于 39.2%。
  • 最差:Terminal-Bench 2.1 为 55.8%。基础模型开启 thinking 时在 SWE-bench Pro 上已达到 64.7%。
  • 结论:最佳:以约 4.5 倍更少的 token 达到 thinking 级别的准确率。最差:小规模评测集、自报数据、仅限 pi。

什么是 Qwen3.8-27B-pi-adapted?

Qwen3.8-27B-pi-adapted 是一个 PEFT LoRA 适配器,可将 Qwen3.8-27B 转变为针对 pi 调优的模型。pi 是一个 MIT 许可的 agent 工具包,带有编码 agent CLI。该适配器以 Apache-2.0 发布。它作用于 q、k、v、o、gate、up 和 down 投影。它仅适用于 Qwen3.8-27B。

基础模型是一个稠密混合模型。它在 64 层中交替使用 Gated DeltaNet 线性注意力块和 Gated Attention 块。

harness 适配器训练如何工作?

该方法来自 Hugging Face 于 11 月 6 日发布的 harness adapters 文章。思路是每个模型和 harness 使用 1 个 LoRA 适配器。训练在未修改的 harness 内、在可验证任务上进行。

对于这个 checkpoint,模型卡列出了以下细节:

  • 算法:TRL 的 AsyncGRPO,每个任务 8 次 rollout,温度 0.8。
  • 任务:750 个 scale800 任务与 300 个 TermGrade 任务交错。
  • 奖励:验证器正确性加上工具效率奖励,权重 0.1。
  • 预算:每个 rollout 最多 50 个 agent 步骤和 1,800 秒,thinking 关闭。
  • Checkpoint:step 160。运行在计划的 1,000 步中的第 191 步停止。 每次工具调用都经过 safeagents,这是一个基于规则的代理。它会阻止诸如从 Hub 获取基准答案之类的调用。被阻止的 rollout 得分为 0,因此 RL 会推动模型远离奖励黑客行为。

基准测试:LoRA 适配器帮助有多大?

以下所有数字均为自报。它们使用 pi harness,每个任务尝试 1 次。 基准(pi,thinking 关闭)基础 Qwen3.8-27Bpi-adapted变化 SWE-bench Pro(hard 51)39.2%64.7%+25.5 ± 14.2 pts(p = 0.0023) Terminal-Bench 2.1(86 个任务)39.5%55.8%+16.3 ± 9.1 pts(p = 0.0013) 该适配器在 SWE-bench Pro 上解决了 15 个新任务,丢失了 2 个。在 Terminal-Bench 2.1 上,它增加了 16 个,丢失了 2 个。

效率是更大的亮点。在两个模型都解决的任务上,SWE-bench Pro 的中位轮次从 59 降至 23。在 Terminal-Bench 2.1 上,从 18 降至 8。该适配器生成的 token 也比开启 thinking 的基础模型少约 4.5 倍。

与 thinking 模式和其他适配器相比如何?

开启 thinking 时,基础模型在 SWE-bench Pro 上已达到 64.7%,在 Terminal-Bench 2.1 上达到 54.2%。因此,该适配器在不付出长推理轨迹代价的情况下,达到了 thinking 级别的准确率。开启 thinking 时,适配器达到 66.7% 和 56.6%。 特性Qwen3.8-27B-pi-adaptedQwen3.8-27B 基础,thinking 开启Qwen3.8-27B-opencode-adaptedbytkim/Qwen3.8-27B-pi 类型LoRA r=32基础模型LoRA r=32全量微调,28B 方法AsyncGRPO RL无AsyncGRPO RLSFT 然后 GRPO HarnesspipiOpenCodepi 许可证Apache-2.0Apache-2.0Apache-2.0Apache-2.0 SWE-bench Pro(hard 51)64.7%64.7%51.0%(OpenCode)未披露 Terminal-Bench 2.155.8%54.2%53.0%(OpenCode)未披露 Token 使用比基础 + thinking 少约 4.5 倍基线比基础 + thinking 少约 6 倍到 8 倍输出 token 少约 41%(Terminal-Bench) 训练硬件2x B200未披露2x B200未披露 OpenCode 适配器数字使用不同的 harness,不能直接比较。

如何部署?

模型卡给出了 4 种途径:

  • vLLM:使用 --enable-lora --max-lora-rank 32 服务 Qwen/Qwen3.8-27B,禁用 thinking。将 pi 指向 http://localhost:8000/v1。
  • llama.cpp:在 Q8_0 基础 GGUF 上加载 GGUF 适配器。
  • macOS 上的 Llama.app:以 32,768 token 上下文注册适配器。
  • 合并:在 CPU 上使用 PEFT 合并,然后在不带 LoRA 标志的情况下服务 54 GB BF16 结果。 由于适配器共享 1 个基础模型,单个服务器可以并排托管 pi 和 OpenCode 适配器。

关键要点

  • Qwen3.8-27B-pi-adapted 是面向 pi agent 的 Apache-2.0、rank-32 RL LoRA。
  • SWE-bench Pro hard-51 从 39.2% 升至 64.7%,thinking 关闭。
  • SWE-bench Pro 的中位轮次从 59 降至 23。
  • 它以约 4.5 倍更少的 token 达到基础模型开启 thinking 的准确率。
  • 结果是在小规模集合上自报的;推文中的 29.4% 基线已更正。 查看模型卡、GGUF 适配器、方法文章和 TRL 训练脚本。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。 也欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。 需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们 文章 New LoRA Adapter Lifts Qwen3.8 Coding Success From 39% to 65% 首次出现在 MarkTechPost。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →