返回资讯中心
外部精选
软件工程
#开发者实时流

Maxwell团队发布35B参数MoE模型Maxwell-V1.0-Flash,支持256K上下文

来源标题:Maxwell V1 Flash

Maxwell团队推出新一代MoE语言模型Maxwell-V1.0-Flash,总参数35B、每token激活3B(均不含嵌入层),支持最长256K token上下文。模型采用Maxwell Block Sparse Attention,将每个KV组的主注意力限制在4096 token,其内核比基线快6.7倍。该模型面向推理、智能体和长上下文场景,以实用的推理成本为设计目标。

Hacker News 最新ByteAtATime2026/11/17 · 昨天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

62 次点赞 关注 maxwell-model 42 文本生成 Safetensors maxwell_moe 混合专家 对话式 custom_code 许可证:apache-2.0 模型卡片 文件 文件与版本 xet 社区 1 复制到存储桶

  1. 模型简介
  2. 模型规格
  3. 评估结果
  4. 部署
  5. 模型使用
  6. 许可证
  7. 联系我们 📄 技术报告 | 💬 GitHub
  8. 模型简介 Maxwell-V1.0-Flash 是 Maxwell 团队研发的新一代高性能混合专家(MoE)语言模型,总参数量 350 亿,每 token 激活参数量 30 亿(均不含 embedding),支持最长 256K token 的上下文长度。它专为强推理、智能体(agentic)与长上下文能力而设计,同时保持实用的推理成本。 Maxwell 块稀疏注意力(MBSA)。每个 KV 组固定覆盖 8 个前缀块和 8 个本地 128-token 块,并由一个可学习的索引器额外选择最多 16 个远端块,从而将每个 KV 组的主注意力计算量限定在 4,096 token 以内,同时完整历史的 KV cache 仍然可用。在 256K 长度下,MBSA kernel 比稠密 GQA 快 6.7 倍。 流形约束超连接(Manifold-Constrained Hyper-Connections)。采用多条残差流,通过可学习的、依赖输入的聚合与受约束的混合来拓宽信息流,且不增加额外的注意力或前馈计算。 细粒度混合专家。以 MoE 为主干的架构,将细粒度路由专家与始终激活的共享专家配对,并使用动态路由校正偏置以及轻量的序列级负载均衡损失。 预训练。约 26 万亿 token 的多语言数据,大多数隐藏权重矩阵使用 Muon 优化器。训练从稠密模式开始;在 128K 中段训练时引入块稀疏注意力,此时索引器已针对稠密全历史注意力完成预热,随后与主干联合训练。 分词器与长上下文。一个脚本感知的多语言分词器在各语言上保持紧凑的词表,尤其是泰语、老挝语、缅甸语、高棉语和掸语等低资源东南亚语言。长上下文训练随后将序列长度从 4K 分阶段扩展至 256K。 后训练。两阶段全领域 SFT 构建通用、推理与智能体能力,然后针对更难的推理问题和智能体轨迹进行训练。独立的 RL 分支覆盖通用任务、可验证推理(数学、科学、逻辑、代码)以及智能体任务(搜索、终端使用、函数调用、软件工程)。随后通过多教师在线策略蒸馏,以监督学生模型生成回答的方式将它们合并为一个模型。 以下结果总结了 Maxwell-V1.0-Flash 在推理、智能体搜索及其他能力上相对于所评估对比模型的表现。
  9. 模型规格 组件 配置 值 模型 架构 混合专家(MoE) 模型类型 纯文本因果语言模型 总/激活参数量 35B / 3B 分词器 词表大小 200,704 主干 Transformer 层数 45 隐藏维度 2,048 配置序列长度 262,144 注意力 查询头 / KV 头 32 / 4 头维度 128 RoPE base 10,000,000 稠密 GQA 查询位置前缀 16K token 稠密前缀之后的注意力 BSA 块大小 128 token 每个 KV 组的最大块预算 32 前缀 / 本地 / 远端块预算 8 / 8 / 16 索引器 查询头 / 键头 4 / 1 头维度 128 稠密 FFN 层数 3 中间维度 6,144 MoE 层数 42 路由专家(总数 / 每 token 激活) 256 / 12 每层共享专家数 2 每个专家的中间维度 512 mHC 残差流数 4 Sinkhorn–Knopp 迭代次数 20 依赖输入的映射初始缩放 0.01 MTP 辅助层数 1 注意力类型 稠密 GQA 块预算仅适用于稀疏注意力模式。MTP 层为辅助层,不计入主干层数。
  10. 评估结果 基础模型。在统一的内部评估框架下,将 Maxwell-V1.0-Flash(Base)与两个规模相近的 Qwen 基础模型进行比较。所有分数均为百分比;每行最优分数以粗体显示。GSM8K 采用 pass@8 评估。 基础模型,长上下文。分数为 0–100 分制。所有结果在每一层均使用块稀疏注意力。 后训练模型。将 Maxwell-V1.0-Flash 与四个规模相近的模型进行比较:Qwen3.6-35B-A3B(其名义总参数量/激活参数量同为 35B / 3B),以及 Gemma-4-26B-A4B-it、Nemotron-3.5-Lightning 和 Muse-Glimmer-30B。所有分数均为百分比;每项指标的最高分以粗体显示。多语言结果仅涵盖市场语言。
  • Maxwell 启用了上下文管理。 后训练评估大多使用 temperature 0.6、top-p 0.95、top-k 20 以及 32K token 上下文。AA-LCR、数学基准和 HLE 使用 128K;科学基准使用 80K;LiveCodeBench v6 使用 64K;多语言评估的最大生成长度为 16K token。SWE-Bench Verified 使用 Claude Code harness(版本 2.1.212)在隔离网络环境中评估,上下文窗口为 256K token,最多 240 轮交互,每个任务墙钟时限四小时。Terminal-Bench 2.1 在 Harbor 框架下使用 Terminus-2 harness 评估,每个任务超时两小时,上下文窗口 256K token,最大 token 数 32K,temperature 1.0、top-p 0.95、top-k 20,并启用交错思考。
  1. 部署 需要 NVIDIA 驱动 >= 580(CUDA 13.0)。在较旧的驱动上,请在 docker run 中添加 -e VLLM_ENABLE_CUDA_COMPATIBILITY=1。 先使用 Hugging Face CLI 将权重下载到本地目录(如果 hf 不可用,请用 pip install -U huggingface_hub 安装): export MODEL_DIR=$PWD/Maxwell-V1-Flash hf download maxwell-model/Maxwell-V1-Flash --local-dir "$MODEL_DIR" 启动 vLLM OpenAI 兼容服务器: docker run --rm --init
    --name vllm-maxwell
    --gpus all
    --shm-size 8g
    --network host
    -v "$MODEL_DIR":/models/Maxwell-V1-Flash:ro \

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →