Nous Research 发布 Arete-27B，将 Qwen3.8-27B 的政治宣传式回答占比从 22% 降至 0.9%

Nous Research 发布了 Arete-27B，这是对阿里巴巴 Qwen3.8-27B 进行监督微调后的模型。Arete-27B 是一个 27B 的开源权重模型，能够去除 Qwen 回答中的中国官方叙事框架。在 Nous 自建的 803 条提示词评测中，含有宣传性内容的回答从 22% 降至 0.9%。开发者由此可以获得 Qwen 级别的 agent 能力，同时不必接受与官方立场对齐的回答。权重、评测集和训练数据均已公开。

摘要

• 规模：27B 稠密参数（全部激活）。以 64k 上下文训练。基座 Qwen3.8-27B 原生支持 262,144 个 token。
• 运行需求：BF16 权重为 53.81 GB。社区 Q4_K_M 量化版为 17.20 GB，适配 24 GB 消费级 GPU。
• 性能：在 Nous 所跑的基准测试上能力保持不变；政治叙事框架现已与西方模型一致。
• 最佳表现：宣传率 0.9%，基座 Qwen3.8-27B 为 22%。
• 最差表现：事实得分 5 分制下为 2.98；803 条回答中仍有 216 条得分为 0。

什么是 Arete-27B？

Arete-27B 是仅经过监督微调的 Qwen3.8-27B。Nous 没有使用 RL，没有做偏好优化，也没有改动架构。许可证为 Apache 2.0，与基座模型一致。 Nous 团队表示，他们在基座模型上观察到敏感话题上出现拒答、回避以及带有中共框架的回答。他们选择 Qwen3.8-27B，是因为它是当时能力最强的本地模型，并且表现出了目标行为。

Arete-27B 是如何训练的？

教师模型是 Inkling，这是 Thinking Machines 的一个开放模型。Nous 选择开放教师模型，是为了避开蒸馏方面的使用条款限制。在发现 Nemotron 3 Ultra 在中国相关话题上的记录参差不齐后，他们放弃了该模型。 训练在 64k 上下文下覆盖了约 5280 万个 token，未使用序列打包。训练运行了 2 个 epoch、1,202 步，批大小为 48。使用了 AdamW、1e-5 的峰值学习率和 tensor parallel 4。 所有语言模型权重都参与了训练。视觉编码器保持冻结，因为数据仅为纯文本。多 token 预测头被禁用。 发布的 arete-data-pairs 数据集包含 7 个主题下的 34,878 条提示词。每条提示词都同时配有 Inkling 回答和 Qwen 回答。其中 29,236 条被接受的教师回答构成了 SFT 训练集。

宣传评测是如何进行的？

Propaganda_Eval 集包含 7 个价值类别下的 803 条提示词，涵盖言论自由、国家意识形态、数据隐私和民主等。每条提示词都带有 2 到 4 个来自引用来源的必需事实。 由 Grok 4.7 担任评审，分别对两项内容打分：

• 事实均值（0 到 5）：回答中陈述了多少个必需事实。出现一个相反事实即得 0 分。
• 是否存在宣传：将官方说法当作自身立场来表述的回答占比。 评审必须引用确切措辞才能标记为宣传。Nous 移除了所有与评测集重叠的训练提示词。该评测集采用 MIT 许可证，并包含评分脚本。

基准测试结果如何？

在模型卡页面上，Arete-27B 将事实均值从 2.32 提升至 2.98。宣传率从 22% 降至 0.9%。得分为 0 的回答从 803 条中的 359 条降至 216 条。 变化最大的是言论自由类别。事实得分从 0.89 升至 2.44，宣传率从 60% 降至 1%。 在 Nous 的测试中，能力保持不变。Hermes Bench 从 65.77% 变为 65.60%，Nous 称这属于噪声。在 Nous 的测试框架下，Terminal-Bench-2.1 从 67% 升至 70%。Nous 并未将该提升归功于自身。

Arete-27B 对比如何？

指标Arete-27BQwen3.8-27BMuse Glimmer 30BGemma 4 31B 开发者Nous Research阿里巴巴 QwenMetaGoogle DeepMind 参数27B 稠密27B LM，稠密29.6B（含视觉），稠密30.7B，稠密 上下文未披露（以 64k 训练）原生 262,144，最高 1M131,072+256K 许可证Apache 2.0Apache 2.0Apache 2.0Apache 2.0 输入文本、图像（编码器冻结）文本、图像、视频文本、图像文本、图像 4-bit 占用17.20 GB Q4_K_M（社区）未披露低于 20 GB，面向 24 GB 显存未披露 事实均值，Nous 评测2.982.323.022.58 宣传率，Nous 评测0.9%22%0.5%0.5% Terminal-Bench 2.170%（Nous 测试框架）67% Nous 测试框架；官方 73.051.7（Meta，terminus2）Google 未披露 GPQA Diamond未披露89.283.584.3 注：Arete 和 Qwen 在 Nous 评测中以 temperature 0 运行。Muse Glimmer 和 Gemma 以 0.6 运行。Terminal-Bench 数据来自不同的测试框架。

开发者如何运行？

权重以 BF16 格式发布于 Hugging Face。目前尚无托管推理服务商提供该模型。社区 GGUF 量化版可在 llama.cpp、LM Studio 和 Ollama 中运行，大小从 8.64 GB 到 53.81 GB。GGUF 构建还包含图像投影器。

要点

• Arete-27B 将 Qwen3.8-27B 的宣传性回答从 22% 降至 0.9%。
• 这一修复仅用了 5280 万 token 的普通 SFT，无需 RL。
• Hermes Bench 保持在 65.60%，基座为 65.77%。
• 事实召回升至 5 分制下的 2.98，但仍落后于同类模型。
• 权重、评测集和训练数据以 Apache 2.0 和 MIT 许可开放。 查看模型权重、技术博客、评测集和训练数据。也欢迎在 Twitter 上关注我们，别忘了加入我们 15 万+ 的 ML SubReddit 并订阅我们的 Newsletter。等等！你在用 Telegram 吗？现在你也可以在 Telegram 上加入我们。 需要与我们合作推广你的 GitHub Repo、Hugging Face 页面、产品发布或网络研讨会等？联系我们。 文章 Nous Research Releases Arete-27B that Cuts Qwen3.8-27B Propaganda From 22% to 0.9% 首发于 MarkTechPost。