Thinking Machines Lab 发布 Inkling 2 Small 模型权重

Like 3 关注 Thinking Machines Lab 2.01k 图文输入→文本输出 Safetensors inkling2 对话 混合专家 8 位精度 许可证：apache-2.0 模型卡 文件 文件与版本 xet 社区 复制到存储桶 Inkling 2 Small 1. 基本信息 2. 快速开始 所需硬件 所需软件 3. 模型属性 模型类型 架构类型 参数量 数值支持 输入模态 输出模态 4. 训练 5. 评测 6. 安全性 7. 偏见、风险与局限 8. 法律 Inkling 2 Small NVFP4 | MXFP8 | Playground | Tinker Cookbook | 可接受使用政策

1. 基本信息 Inkling 2 Small 是一个通用多模态模型，接受文本和图像输入，生成文本输出。它面向英语及其他语言的使用场景，并覆盖多种编程语言。该模型面向构建 AI 应用的开发者，包括智能体与工具调用系统、编程助手、聊天机器人以及检索增强生成系统，适用于通用对话、指令遵循及其他自然语言与视觉任务。模型以开放权重形式发布，以支持研究、微调以及由下游开发者集成到第三方产品中。 语言：英语，并具备跨其他语言的通用多语言能力。
2. 快速开始 可在 Tinker Playground 上试用 Inkling 2 Small，或通过 Tinker Cookbook 使用 API 访问。如需使用 Tinker 对 Inkling 2 Small 进行微调，还需安装 tml-renderers 包。 Inkling 2 Small 支持通过以下方式进行本地推理： Inkling 2 Small 还可以通过以下方式进行后训练： 也可通过第三方推理服务商获取 API 访问，包括： 所需硬件 该模型以两种 checkpoint 格式分发。 主 NVFP4 checkpoint 需要聚合显存至少 500GB 的 GPU 集群。以下任一示例配置均可满足： 备选 MXFP8 checkpoint 需要聚合显存至少 800GB 的 GPU 集群。以下任一示例配置均可满足： 该模型在 NVFP4 下完成了预训练、中训练和后训练，因此这是该模型的原生精度。我们推荐所有用例使用 NVFP4 checkpoint，并确信它是最佳选择。MXFP8 在评测中相比 NVFP4 checkpoint 仅有 1–2 个百分点的微弱提升，但我们认为这对任何实际用例都不具有实质意义。 所需软件 直接在 GPU 硬件上运行该模型需要推理部署框架——SGLang、vLLM、TokenSpeed、Unsloth 或 Hugging Face 之一，以及它们各自的所有依赖库。
3. 模型属性 模型类型 多模态自回归 transformer 架构类型 48 层仅解码器 transformer，配备稀疏混合专家（MoE）前馈主干：每个 token 被路由到 384 个专家中的 8 个。注意力机制为局部层与全局层的混合。该模型原生多模态——图像通过视觉 transformer 编码——图像和文本输入被投影到共享隐藏空间，并由解码器联合处理。 输入模态 Inkling 2 Small 接受 UTF-8 编码的文本输入，以及任意基于像素格式的图像输入（为获得最佳性能，每个维度最好在 40px 到 4096px 之间）。它支持最多 1M token 的上下文窗口。 输出模态 Inkling 2 Small 以 UTF-8 编码文本形式生成输出。
4. 训练 训练数据涵盖多种内容类型，包括文本、图像、视频。该模型的训练数据来自公开可获取的来源、从第三方获取的数据、内部生成的数据，或合成生成或增强的数据。公开可获取的数据包括来自公共互联网和公开可访问仓库的内容。 训练数据整理流程包括清洗、处理和修改数据集。这些处理步骤因数据类型而异，可能包括去重和过滤，以移除垃圾数据或其他低质量数据，或推进安全性或其他目标。
5. 评测 Open Weights FlashOpen Weights ProClosed Weights Flash Inkling 2 SmallGLM-5.3-FlashMiMo V2.6 FlashMiniMax-M3.1-FlashDeepSeek-V4.1-Flash-1017Muse Spark OpenGLM 5.3MiMo V2.6 ProMistral Large 4Kimi K3GPT-6 LunaGemini 3.8 FlashClaude Haiku 5.5 模型信息 参数量（B） 激活/总计17/59418/32015/30923/42816/55242/81640/75342/102049/1050104/2800––– 第三方指数 AA Index (v5.0)30.627.826.729.132.624.931.729.926.1–27.930.836.5 Vals Index (v2.2)56.1%50.9%54.8%53.8%61.3%48.6%59.7%57.8%56.5%53.0%52.3%56.0%58.7% 编程 FrontierCode v2.0 stirrup v0.2.125.4%17.6%21.6%20.8%28.5%7.6%21.6%24.0%15.0%17.3%25.2%18.7%34.9% DeepSWE v1.1 mini-swe-agent v2.4.672.1%63.4%67.9%73.7%77.0%60.0%69.0%71.9%61.7%68.5%66.6%73.8%59.9% Terminal Bench Science v0.1 mini-swe-agent v2.4.65.7%4.8%4.3%3.3%12.9%1.9%9.5%5.7%4.3%8.1%8.6%10.0%20.0% Vibe Code Bench v1.1 openhands (vals)81.6%30.8%79.0%73.9%87.7%76.2%78.1%85.2%81.6%85.0%81.7%78.7%90.4% SWE-Atlas v1.1 mini-swe-agent v2.4.661.9%–––62.1%42.3%–––61.0%50.8%57.3%59.4% SWEBench Pro v2 (Hard) mini-swe-agent v2.4.686.3%82.8%89.7%84.3%89.7%82.4%84.3%89.2%83.8%88.2%88.7%58.8%52.9% Sudo L714.1%–––––9.4%–13.9%12.2%–10.6%– Autoresearch PostTrainBench v1.2 Inkling 2 Small in Claude Code31.9%36.8%––30.5%–34.5%––31.5%––– PMPP-Hard (AUC, 0–10h) pi v0.83.0494.27–––497.36–430.96–478.39453.58––– BioMysteryBench terminus v270.0%–69.3%––––––72.6%61.5%62.2%70.4% 搜索与工具 BrowseComp Inkling 2 Small with compaction90.2%76.0%78.1%69.5%87.8%68.7%75.1%–84.5%88.4%83.6%89.4%80.2% DeepSearchQA Inkling 2 Small with compaction90.9%84.3%86.0%82.7%84.5%80.4%84.7%90.0%84.4%95.0%83.5%90.1%83.2% MCP Atlas Full / Public85.4/85.0%–/82.0%–/62.9%–/80.4%–/83.2%89.2/87.5%84.2/83.6%–/84.4%–/84.5%82.3/84.2%–/77.8%–/87.5%–/81.0% 知识工作 AA-Briefcase v1.11527145114871476157012791503151213481497133712031574

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）