
Unsloth 发布 Qwen3.8-27B 量化,升级 Dynamic V3.1
来源标题:Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update
Unsloth 为 Qwen3.8-27B 推出采用 Dynamic V3.1 算法的新 GGUF 量化版本,在相同体积下多数基准准确率提升 5-10%,包括 Terminal Bench、DeepSWE 等。该模型为 27B 稠密模型,支持视觉与推理、256K 上下文,可在 17GB 内存/显存下本地运行,并提供 GGUF、NVFP4 和 Unsloth Desktop 版本。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Ask 本页内容 模型 Qwen3.8 - 如何在本地运行 在本地环境中运行 Qwen3.8 量化模型(包括 Qwen3.8-27B)的指南。 Qwen3.8-27B 是 Qwen 旗下的 27B 参数稠密模型,具备视觉与推理能力,上下文窗口为 256K,可在 17GB 内存/显存的配置上本地运行。Qwen3.8 擅长智能体编程、视觉和聊天任务,现在可以通过 Unsloth GGUF、NVFP4 和 Unsloth Desktop 运行。 11 月 11 日更新:Qwen3.8-27B 的 GGUF 现已采用 Unsloth Dynamic V3.1,在相近体积下平均准确率提升 5-10%,覆盖 Terminal Bench、DeepSWE 等基准测试。我们正在开发更好的 Dynamic 量化版本,将应用于 Qwen4 及未来的模型。 感谢 Qwen 提供首日访问权限。Unsloth 量化还包含: 开发者角色支持,适用于 Codex 等智能体工具 工具调用:改进嵌套对象的解析,让工具调用成功率更高 Unsloth Desktop 中的 Dynamic 4-bit Qwen3.8-27B Dynamic V3.1 更新(2026 年 11 月 11 日) 我们很高兴发布新的 Qwen3.8-27B GGUF,采用更新后的 Unsloth Dynamic V3.1(预览版)算法。该算法让 Unsloth 量化在相同体积下,在大多数基准测试中准确率提升 5-10%,在编程、智能体工作负载和通用聊天等大多数任务上均属同类最佳。 从 2bit 到 6bit 的大部分量化都已更新。我们发现 3bit 的 UD3 量化与 UD3.1 表现相当,因此没有更新它们。我们正在积极努力让所有量化都变得更好! 我们运行了智能体基准测试,包括 Terminal Bench 2.1、DeepSWE v1.1,以及 LiveCodeBench v6、GPQA Diamond、MMLU-Pro、AIME25 等通用基准测试。所有智能体基准测试使用 256K 上下文长度,其余使用 128K。我们对 Qwen3.8-27B 采用了与 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 相同的方法论,后两者也使用了我们的 V3.1 预览算法。 点击下方查看基准测试的完整细节及更多内容: 点击展开完整细节与细分数据Exllama-v3 相关考量 为了比较 GSQ-RCO 和 Exllama-v3,我们不得不将 token 嵌入层从 x 轴中排除,因为 Exllama-v3 对该层使用 BF16。 如果考虑 Exllama-v3 的完整下载体积和总内存占用,那么加上 BF16 嵌入表并计入所有嵌入层大小后,图表会发生变化。我们主图的 x 轴从所有量化提供方中剔除了嵌入层大小。但就纯内存占用和磁盘空间占用与准确率的关系而言,下图才是实际使用情况的真实反映。 我们尚未调查 Exllama-v3 为何将 token 嵌入保留为 BF16,但由于 lm_head 仍被大幅量化,嵌入层可能“吸收”了来自 lm_head 的大部分量化损失。我们很乐意对采用非 BF16 token 嵌入(例如 8-bit)的新 Exllama-v3 量化进行基准测试,看看结果是否会变化。 对于 LiveCodeBench,GSQ-RCO 显示 Unsloth UD3 量化始终比 ISTA 的差。但我们发现了相反的结果——除最小体积外,UD3 量化(我们的旧量化)在 LCB 上所有体积下都优于 ISTA。UD3.1 在 LCB 上也有进一步提升。 我们估计 GSQ-RCO 使用了 96K 的上下文预算,因为这与我们所得运行数据最为吻合。在 96K 下,GSQ-RCO 确实略优于 UD3,但在 128K 下,UD3 表现好得多。 在另一项基准测试中,即 ISTA 的 GSQ-RCO AIME25 基准测试,他们的量化达到了 100%、100%、100% 和 96.7% 的准确率恢复率。而他们却说我们的量化更差。 经过我们的调查,我们估计 ISTA 只做了 1 次试验——我们做了 14 次试验,结果显示平均恢复率为 93% 到 96%,而非 100% 的准确率恢复。事实上,在 14 次运行对比他们的 1 次运行中,我们的旧 UD3 量化平均表现优于他们的量化,所以如果多做几次试验,我们会得出相反的结论。 我们还使用 Math Verify Dynamic 3.1 GGUF 以及 LightEval 对我们的答案进行了检查和评分,得出的结论完全相同。我们还尝试了贪心解码(温度为 0),但在多次贪心运行中都无法获得 ISTA 所发现的 100% 准确率恢复,因为 GPU 本身是非确定性的。这就是为什么基准测试应该运行多次。贪心解码也不能代表真实世界的使用场景。 我们还检查了 96K(这最可能是 ISTA 的预算)和 128K,我们的量化平均表现仍然更好。 我们对 Unsloth UD3.1 量化和 UD3 量化在多个领域做了 KLD——在大多数量化和大多数领域中我们降低了 KLD——我们没有替换 3-bit 量化,因为我们发现 UD3 表现总体很好,而 UD3.1 在基准测试上的准确率恢复提升不够显著,不足以支持更新,所以没有更新它们。 我们对所有基准测试遵循与 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 相同的流程,正如在 Dynamic 3.1 GGUF 中所述。对于 Qwen3.8-27B,我们使用 temperature 1.0、top_p 0.95、top_k 20、min_p 0、无 presence 或 repetition 惩罚、preserve_thinking 以及 xhigh 推理。 Qwen3.8-27B 要求: Qwen3.8-27B 的 4-bit 量化可在 16-19GB 显存上运行,例如 RTX 5080、4090 或 24GB 内存的 Mac。 表格:硬件要求(单位 = 总内存:RAM + VRAM,或统一内存) 如果你想使用 MTP 加快推理速度,请预留 1-2GB 的额外余量。 Qwen3.8-27B 是一个混合思考模型,思考模式和非思考模式有不同的默认设置。Extra high 默认启用,所以如果你想要更短的思考轨迹,可以调整思考强度: 最大上下文窗口:262,144(可通过 YaRN 扩展到 1M) 思考模式:temperature=1.0、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=0.0、repetition_penalty=1.0 指令(或非思考)模式:temperature=0.7、top_p=0.80、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0 Qwen3.8 具备 Preserve Thinking 功能,会保留上一轮对话的思考轨迹。这会增加你使用的 token 数量,但可能提高连续对话中的准确率。Unsloth 为 Qwen3.8 提供了“Think”和 Preserved Thinking 开关(见右图):
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。