Thinking Machines 发布 Inkling 2 Mini:26B 循环 MoE 模型可在 32GB Mac 上本地运行
来源标题:Meet Thinking Machines Inkling 2 Mini: 26B Looped MoE Runs on a 32GB Mac
Thinking Machines 发布开源权重模型 Inkling 2 Mini,总参数 26.4B、激活参数 3.4B,通过循环复用中间层将检查点控制在约 20GB,可在 32GB Mac 或单台 DGX Spark 上运行。该模型在 SWE-bench Verified 上得分 79.2%,以 Apache 2.0 协议在 Hugging Face 发布,并支持 Tinker 托管推理与微调。
以下正文由 AI 翻译自 MarkTechPost(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Thinking Machines Lab 发布了 Inkling 2 Mini,这是一个开放权重的循环 Transformer,总参数量 26.4B。该模型对每个 token 将中间层复用 3 次,而不是增加更多权重。这让 checkpoint 保持在 20GB 左右,小到可以跑在 32GB 的 Mac 或 1 台 NVIDIA DGX Spark 上。对开发者来说,Inkling 2 Mini 是 agentic 编程、工具调用和文档处理的本地选择。它以 Apache 2.0 协议在 Hugging Face 上发布,并在 Tinker 上提供托管推理和微调。
TL;DR
- 规模:总参数 26.4B,激活参数 3.4B(循环后每 token 有效 5.4B),上下文最高 1M token。
- 运行环境:32GB 以上内存的 Apple 芯片、1 台 NVIDIA DGX Spark,或 32GB 以上显存的 GPU。GGUF 构建可通过 Unsloth 和 llama.cpp 获取。
- 性能:Artificial Analysis Index 得分 20.1,与 Qwen3.8-27B 持平(自报数据)。
- 最佳:SWE-bench Verified 79.2%(仅 bash)。
- 最差:HLE-Diamond 15.2%,MultiChallenge 50.0%。
- 结论:最佳之处:20GB checkpoint 带来强劲的 agentic 编程能力。最差之处:知识召回和多轮指令遵循较弱。
Inkling 2 Mini 是什么?
Inkling 2 Mini 是 Thinking Machines 推出的稀疏 Mixture-of-Experts 模型,其中间层会循环执行。它接受文本和图像输入,只返回文本。 它继 Inkling 2 Small 之后推出,后者是 11 月 5 日发布的 594B 参数模型。
循环 Transformer 如何工作?
该模型存储 24 层,分为 4 个块,每块 6 层。第一个和最后一个块各运行一次。中间 2 个块以共享权重运行 3 次。这样,24 层权重对每个 token 产生 48 次层应用。 第一次之后的每次传递都会收到上一次传递的“消息”。Thinking Machines 通过 Attention Residuals 和一个学习到的门控来传递它。前馈层使用 128 个专家,每个 token 路由 8 个。 循环中间层带来了 1.51x 到 1.91x 的算力等效增益。循环最后几层只带来 1.24x 到 1.36x。中间层循环方案在 28 项评估中赢了 27 项。 循环会增加训练算力,但节省推理算力。一个不循环的基线少用了 7.5% 的训练算力。但在 512k token 的 agentic 轨迹上要达到循环模型的 loss,它需要多 140% 的推理算力。
Inkling 2 Mini 是如何训练的?
训练开始时每层有 384 个专家,每个 token 激活 8 个。在 midtraining 阶段,团队剪掉了三分之二,保留最常用的 128 个专家。然后从更大的内部 Inkling 模型进行 1T token 的蒸馏,以修复剪枝后的模型。后训练使用 SFT,然后在 2.2T token 和 2,000 步上进行 RL,外加 on-policy 蒸馏。 专家层以 NVFP4 训练和部署。最后 4 层使用 MXFP8。Thinking Machines 表示这消除了量化转换损失。一个研究变体 TML-d24-varloop-research 使用 1 到 5 次传递进行训练。
Inkling 2 Mini 在基准测试中表现如何?
以下所有 Inkling 分数均由 Thinking Machines 自报。编程是最强的领域。Inkling 2 Mini 在 SWE-bench Verified(仅 bash)上得分 79.2%,在 SWE-bench Pro v2(Hard)上得分 77.9%。在 DeepSWE v1.1 上达到 48.2%,而 Qwen 自己的模型卡列出 Qwen3.8-27B 为 42.2%。在 Terminal Bench v2.1 上得分 71.6%,落后于 Qwen3.8-27B 的 73.0%。 Agentic 搜索也站得住:带 compaction 的 BrowseComp 上 79.0%,MCP Atlas 上 82.7%。在文档和视觉方面,OmniDocBench v1.6 上 92.8%,MMMU Pro 上 74.9%。推理方面,GPQA Diamond 上 86.6%,ARC-AGI-2 上 49.3%。 效率是主要卖点。在斯坦福的 Intelligence per Watt 指标上,Thinking Machines 报告 DGX Spark 上为 0.703。它列出 Qwen3.6-35B-A3B 为 0.430,Gemma-4-26B-A4B 为 0.159。
Inkling 2 Mini 与 Qwen 和 Gemma 相比如何?
特性Inkling 2 Mini(模型卡)Qwen3.8-27B(模型卡)Qwen3.6-35B-A3B(模型卡)Gemma 4 26B A4B(模型卡) 架构循环 MoEDenseMoEMoE 总参数26.4B27B35B25.2B 激活参数3.4B(有效 5.4B)27B(dense)3B3.8B 上下文最高 1M原生 262,144,最高 1M原生 262,144,最高 1,010,000256K 许可证Apache 2.0Apache 2.0Apache 2.0Apache 2.0 输入文本、图像文本、图像、视频文本、图像文本、图像 列出的硬件约 20GB;32GB Mac 或 DGX Spark未披露未披露未披露 GPQA Diamond86.6%89.286.082.3% Terminal Bench 2.171.6%73.0未报告未报告 SWE-bench Verified79.2%(仅 bash)未报告73.4未报告 DeepSWE 1.148.2%42.2未报告未报告 托管访问TinkerQwen Cloud未披露未披露 每列均使用厂商自己的模型卡。测试框架和设置不同,因此跨厂商差距仅供参考。
运行 Inkling 2 Mini 需要什么硬件?
Safetensors 格式的 checkpoint 约 20GB。Thinking Machines 列出 3 种支持的配置:1 台 NVIDIA DGX Spark、32GB 以上内存的 Apple 芯片,以及 32GB 以上显存的其他 GPU。量化 GGUF 构建可通过 Unsloth 和 llama.cpp 获取。 服务支持覆盖 Transformers、vLLM、SGLang、Ollama、NVIDIA Dynamo 和 TokenSpeed。Mini 的 Tinker 定价在发布材料中未披露。 vLLM 快速启动只需 1 条命令:vllm serve "thinkingmachines/Inkling-2-Mini"。
Inkling 2 Mini 在哪里不足?
知识主要取决于总参数量,而循环对知识基准没有帮助。Inkling 2 Mini 在 AA-Omniscience 上得分为 -8.6,非幻觉率为 63.4%。 它不是多轮聊天或约束密集型提示的最佳小模型。它在 MultiChallenge 上得分 50.0%,在 ComplexConstraints v1.1 上得分 33.4%。在 HLE-Diamond(15.2%)和 CritPt v2 上也落后于更大的模型。
关键要点
- Inkling 2 Mini 将 24 个存储层循环为每个 token 48 次层传递。
- 总参数 26.4B,激活 3.4B,约 20GB,Apache 2.0,最高 1M 上下文。
- 可通过 Ollama、vLLM 或 llama.cpp 在 32GB Mac 或 1 台 DGX Spark 上运行。
- SWE-bench Verified 得分 79.2%,以 20.1 的 AA Index 与 Qwen3.8-27B 持平。
- 弱点:知识召回、多轮聊天和约束密集型提示。 查看技术博客、模型卡、模型权重和 Tinker Playground。你可以通过我们的 GPULeaderboard.com chrome 扩展在此查看部署选项和规格。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。