阿里发布Qwen4-Max:2.4T参数MoE模型,上下文达100万token
来源标题:Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context
阿里巴巴发布Qwen4-Max,这是其Qwen4代首个模型,采用2.4T参数稀疏MoE架构,每token激活71B参数,支持100万token上下文和文本、图像、视频输入。该模型仅通过QwenCloud API等阿里平台托管,不开源权重,输入token价格为每百万1.5美元。阿里称其将Work360每任务成本降低62%。
以下正文由 AI 翻译自 MarkTechPost(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
阿里巴巴的 Qwen 团队发布了 Qwen4-Max,这是 Qwen4 世代的首个模型。Qwen4-Max 是一款专有的稀疏 MoE 模型,拥有 2.4T 参数的主干网络,每个 token 激活 71B 参数。它接受文本、图像和视频输入,并支持 1M token 的上下文窗口。阿里巴巴还下调了 API 价格,并报告每任务平均成本下降了 62%。
简要总结
- 规模:2.4T 主干参数,每个 token 激活 71B,另有 328B N-gram Embedding 参数。1M 上下文,最大输出 393K token。
- 运行方式:仅托管服务:QwenCloud API、Token Plan、Qwen Studio、QwenWork 和 Qoder。不开放权重,因此无法自托管或使用量化版本。
- 性能:相较 Qwen3.8-Max 有大幅提升。在智能体任务上可与前沿模型竞争,在硬核编程和视觉方面落后。
- 最佳表现:HLAB-Vals-1.1(法律智能体任务):21.3,而排名第二的 Kimi K3.1 为 11.7。
Qwen4-Max 是什么?
Qwen4-Max 是阿里巴巴推出的多模态 MoE 语言模型,专为长周期专业工作打造。本月仅开放了 Token Plan 专属预览。
Qwen4-Max 的架构如何工作?
Qwen4 在 3 个方面升级了稀疏 MoE 设计:注意力、残差连接和嵌入。
- GDN + Qwen Sparse Attention(QSA):每个 QSA 层与 3 个 Gated DeltaNet 层配对。这些层将历史压缩为固定大小的状态。随后 QSA 使用轻量级索引器,以微块粒度挑选相关上下文。这降低了长序列上的注意力和索引成本。
- Gated Residual(GR):4 个并行残差分支使用动态读写门控。目标是增强信息流动并提升训练稳定性。
- N-gram Embedding:328B 额外参数在第 2 层提供局部 token 模式的查找。这以极少的额外计算增加了容量。 阿里巴巴报告称,在 2.4T 规模的预训练运行中未出现损失尖峰。在内部测试中,Qwen4-Max-Base 的 bits per byte 比 Qwen3.8-Max-Base 低 5% 到 13%。同时其激活参数还少了 25%。
Qwen4-Max 在基准测试中表现如何?
阿里巴巴的对比图表覆盖 16 项基准测试。对手包括 Qwen3.8-Max-0902、Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra 和 Kimi K3.1。部分分数引自第三方排行榜。发布时均未经过独立复现。 Qwen4-Max 在 16 项基准测试中有 4 项排名第一:
- HLAB-Vals-1.1(法律智能体):21.3,而 Kimi K3.1 为 11.7,Opus 5.5 为 9.2。
- Agents’ Last Exam v1.1:46.7,而 Opus 5.5 和 Kimi K3.1 为 43.4。
- BioMysteryBench:85.0,而 GPT-6.1 Sol 为 84.4。
- DeepSWE v1.1:75.7,而 Kimi K3.1 为 75.5。 Claude Opus 5.5 在 16 张图表中领先 7 项。Qwen4-Max 在编程和视觉方面落后最明显:
- ProgramBench:31.5,而 Opus 5.5 为 65.0。
- Terminal-Bench 4.0:48.5,而 Kimi K3.1 为 67.2。
- Chartography:54.2,而 GPT-6 Astra 为 71.1。
- Humanity’s Last Exam:51.7,而 Opus 5.5 为 59.8。 在阿里巴巴自家的 Work360 基准测试中,Qwen4-Max 得分为 52.69,高于 Qwen3.8-Max 的 47.74。Work360 覆盖 26 个顶级领域和 721 个专业方向。
为什么 Qwen4-Max 的运行成本更低?
两个因素叠加:更少的 token 和更低的价格。在 Work360 上,Xhigh 努力程度下 token 使用量下降约 24%,High 努力程度下下降 35%。在 Terminal-Bench 4.0 上,降幅分别约为 48% 和 49%。Work360 每任务平均成本从 4.43 美元降至 1.67 美元,降幅 62%。 标价也下降了。输入为每百万 token 1.50 美元,低于 Qwen3.8-Max 的 2 美元。输出为 4.50 美元,低于 6 美元。隐式缓存读取下降 70%,从 0.25 美元降至 0.075 美元。
Qwen4-Max 与竞品对比
指标Qwen4-MaxQwen3.8-MaxClaude Opus 5.5GPT-6.1 SolKimi K3.1 Pro 总参数2.4T 主干 + 328B N-gram 嵌入2.4T未披露未披露2.8T 激活参数71B未披露(博客暗示约 95B)未披露未披露104B 上下文1M1M1M1,050,0001,048,576 最大输出393K131K128K128K未披露 输入模态文本、图像、视频未披露文本、图像文本、图像文本、图像 权重专有,仅 API未披露专有专有开放(Kimi K3.1 Pro 许可证) 输入 / 输出价格(每 1M)$1.50 / $4.50$2 / $6$4 / $20$2 / $10$2 / $10 缓存输入(每 1M)$0.075$0.25$0.20$0.10$0.20 DeepSWE v1.175.769.374.275.275.5 Terminal-Bench 4.048.538.959.656.167.2 Humanity’s Last Exam51.743.959.854.051.1 ProgramBench31.528.065.052.525.0 HLAB-Vals-1.1*21.315.49.26.311.7 *分数来自阿里巴巴的 Qwen4-Max 图表。Qwen3.8 列为 Qwen3.8-Max-0902。图表中将 Kimi 标注为“Kimi K3.1”。Moonshot 自己的模型卡报告 Kimi K3.1 Pro 的 Terminal-Bench 4.0 为 65.7,Opus 5.5 为 66.4。
开发者如何使用 Qwen4-Max?
模型 ID 为 QwenCloud 上的 qwen4-max。API 兼容 OpenAI 和 Anthropic 客户端。支持的功能包括函数调用、结构化输出、上下文缓存、批处理、网络搜索和微调。默认速率限制为每分钟 5,000,000 token。思考模式通过 enable_thinking 切换。 订阅访问通过 Token Plan 提供。
关键要点
- 2.4T MoE 主干,每个 token 仅激活 71B。
- 新的 QSA 注意力、Gated Residuals 和 328B N-gram Embeddings。
- 在 16 项图表基准测试中有 4 项排名第一,领先的是 HLAB-Vals-1.1 的 21.3。
- 每百万 token $1.50/$4.50,缓存输入下降 70%。
- 弱项:ProgramBench(31.5)和 Terminal-Bench 4.0(48.5)。 查看官方 Qwen4-Max 博客、QwenCloud 模型页面和 Token Plan 定价页面。你可以通过我们的 GPULeaderboard.com Chrome 扩展在这里查看部署选项和规格。 另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。 需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或 Webinar 等?联系我们 文章《Alibaba Releases Qwen4-Max: 2.4T MoE, 71B Active, 1M Context》首发于 MarkTechPost。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。