返回资讯中心
外部精选
软件工程
#开发者实时流

Unsloth 发布 Qwen3.8-27B 量化更新,采用 Dynamic V3.1 算法

来源标题:Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update

Unsloth 为 Qwen3.8-27B 推出采用 Dynamic V3.1(预览版)算法的 GGUFs 量化更新,在同等体积下多数基准测试准确率提升 5-10%,包括 Terminal Bench、DeepSWE 等。Qwen3.8-27B 是 27B 稠密模型,支持视觉与推理、256K 上下文,可在 17GB 内存/显存环境本地运行。现有 Unsloth 量化还支持开发者角色与工具调用。

Hacker News 最新Retro_Dev2026/11/14 · 4 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

询问 本页内容 模型 Qwen3.8 - 如何在本地运行 关于在本地环境中运行 Qwen3.8 量化版本(包括 Qwen3.8-27B)的指南。 Qwen3.8-27B 是 Qwen 旗下的 27B 参数稠密模型,具备视觉与推理能力,上下文窗口为 256K,可在 17GB 内存/显存的环境下本地运行。Qwen3.8 擅长智能体编程、视觉与聊天任务,现在可通过 Unsloth GGUF、NVFP4 和 Unsloth Desktop 运行。 11 月 11 日更新:Qwen3.8-27B GGUF 现已采用 Unsloth Dynamic V3.1,在相近体积下平均准确率提升 5-10%,覆盖 Terminal Bench、DeepSWE 等基准测试。我们正在开发更出色的 Dynamic 量化版本,将应用于 Qwen4 及后续模型。 感谢 Qwen 提供首日访问权限。Unsloth 量化版本还包含: 面向 Codex 等智能体工具的开发者角色支持 工具调用:改进对嵌套对象的解析,让工具调用成功率更高 Unsloth Desktop 中的 Dynamic 4-bit Qwen3.8-27B Dynamic V3.1 更新(2026 年 11 月 11 日) 我们很高兴发布新的 Qwen3.8-27B GGUF,采用更新后的 Unsloth Dynamic V3.1(预览版)算法,在相同体积下将 Unsloth 量化版本的准确率提升 5-10%,在大多数基准测试中均有提升,并在编程、智能体工作负载和通用聊天等大多数任务上达到同类最佳水平。 从 2bit 到 6bit 的大多数量化版本都已更新。我们发现 3bit UD3 量化版本的表现与 UD3.1 相当,因此未对其进行更新。我们正积极努力让所有量化版本都变得更好! 我们运行了智能体基准测试,包括 Terminal Bench 2.1、DeepSWE v1.1,以及 LiveCodeBench v6、GPQA Diamond、MMLU-Pro、AIME25 等通用基准测试。所有智能体基准测试均使用 256K 上下文长度,其余测试使用 128K。Qwen3.8-27B 的方法论与 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 相同,后两者同样采用了我们的 V3.1 预览版算法。 点击下方查看基准测试的完整细节及更多内容: 点击展开完整细节与明细Exllama-v3 相关考量 为了对比 GSQ-RCO 与 Exllama-v3,我们不得不将 token 嵌入层从 x 轴中排除,因为 Exllama-v3 对该层使用 BF16。 如果考虑 Exllama-v3 的完整下载体积和总内存占用,那么加上 BF16 嵌入表并计入所有嵌入层大小后,图表会发生变化。我们主图的 x 轴已从所有量化提供方的数值中剔除嵌入层大小。但若单纯看内存占用和磁盘空间与准确率的关系,下图才是实际使用情况的真实反映。 我们尚未调查 Exllama-v3 为何将 token 嵌入保留为 BF16,但由于 lm_head 仍被大幅量化,嵌入层可能“吸收”了其中大部分的量化损失。我们很乐意对采用非 BF16 token 嵌入(例如 8-bit)的新版 Exllama-v3 量化进行基准测试,看看结果是否会变化。 在 LiveCodeBench 上,GSQ-RCO 显示 Unsloth UD3 量化版本的表现始终不如 ISTA 的版本。但我们发现了相反的结果——除最小体积外,UD3 量化版本(我们的旧量化版本)在 LCB 上所有体积下的表现都优于 ISTA。UD3.1 在 LCB 上也有进一步提升。 我们估计 GSQ-RCO 使用了 96K 的上下文预算,因为这与我们运行数据的拟合度最好。在 96K 下,GSQ-RCO 确实略优于 UD3,但在 128K 下,UD3 表现好得多。 在另一项基准测试中,即 ISTA 的 GSQ-RCO AIME25 基准,其量化版本达到了 100%、100%、100% 和 96.7% 的准确率恢复。而他们却说我们的量化版本更差。 在整个调查过程中,我们估计 ISTA 只做了 1 次试验——我们做了 14 次试验,结果显示平均恢复率为 93% 到 96%,而非 100% 的准确率恢复。事实上,在 14 次运行对比他们的 1 次运行中,我们旧的 UD3 量化版本平均表现优于他们的量化版本,所以如果多跑几次试验,我们会得出相反的结论。 我们还使用 Math Verify Dynamic 3.1 GGUF 以及 LightEval 对答案进行了检查和评分,得出了完全相同的结论。我们还尝试了贪心解码(temperature 为 0),但在多次贪心运行中都无法达到 ISTA 所发现的 100% 准确率恢复,因为 GPU 本身具有非确定性。这就是为什么基准测试应该多次运行。贪心解码也不能代表真实世界的使用场景。 我们还检查了 96K(这很可能是 ISTA 的预算)和 128K,我们的量化版本平均表现仍然更好。 我们对 Unsloth UD3.1 量化版本和 UD3 量化版本在多个领域做了 KLD 测试——我们在大多数量化版本和大多数领域上都降低了 KLD——我们没有替换 3-bit 版本,因为我们发现 UD3 表现总体很好,而 UD3.1 在基准测试上的准确率恢复提升不够显著,不足以支持更新,因此我们未对其进行更新。 我们对所有基准测试遵循与 Qwen3.8-Flash-Next、DeepSeek-V4.1-Flash 相同的流程,正如 Dynamic 3.1 GGUF 中所述。对于 Qwen3.8-27B,我们使用 temperature 1.0、top_p 0.95、top_k 20、min_p 0、无 presence 或重复惩罚、preserve_thinking 以及 xhigh 推理。 Qwen3.8-27B 硬件要求: Qwen3.8-27B 的 4-bit 量化版本可在 16-19GB 显存上运行,例如 RTX 5080、4090,或配备 24GB 内存的 Mac。 表格:硬件要求(单位 = 总内存:RAM + 显存,或统一内存) 如果想使用 MTP 加速推理,请准备额外 1-2GB 的余量。 Qwen3.8-27B 是混合思考模型,思考模式和非思考模式有不同的默认设置。Extra high 默认启用,因此如果想要更短的思考轨迹,可以调整思考强度: 最大上下文窗口:262,144(可通过 YaRN 扩展至 1M) 思考模式:temperature=1.0、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=0.0、repetition_penalty=1.0 指令(或非思考)模式:temperature=0.7、top_p=0.80、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0 Qwen3.8 具备 Preserve Thinking 功能,可保留上一轮对话的思考轨迹。这会增加使用的 token 数量,但可能提高连续对话中的准确率。Unsloth 为 Qwen3.8 提供了“Think”和 Preserved Thinking 开关(见右图):

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →