SWE-2 Flash 发布：低成本高速的编程模型，评测超过所有美国开源模型

我们推出 SWE-2 Flash，这是一款完全由美国打造的编程模型，在低成本、高速度的前提下，树立了智能水平的新标杆。我们在训练流程中首次于强化学习之前加入了一个中期训练阶段。这使得模型相较基座模型 Inkling-Small（来自 Thinking Machines）取得显著提升：Terminal-Bench 4.0 从 0.9% 提升到 20.0%，FrontierCode 2.0 从 3.2% 提升到 24.0%。

在主要评测中，SWE-2 Flash 的表现优于此前的所有美国开放权重模型，甚至优于参数量为其 3 倍的模型。为了在透明访问与网络安全风险之间取得平衡，我们正在构建一项计划，与行业合作伙伴和研究人员安全地共享权重。

20.0SWE-2 Flash0.9Inkling-Small4.0Beam 1.08.0Muse Spark Open27.3SWE-220.0SWE-2 Flash0.9Inkling-Small4.0Beam 1.08.0Muse Spark Open27.3SWE-2 DeepSWE 1.1 60.1SWE-2 Flash17.4Inkling-Small43.3Beam 1.060.0Muse Spark Open73.0SWE-260.1SWE-2 Flash17.4Inkling-Small43.3Beam 1.060.0Muse Spark Open73.0SWE-2 FrontierCode 2.0 24.0SWE-2 Flash3.2Inkling-Small2.9Beam 1.06.2Muse Spark Open23.8SWE-224.0SWE-2 Flash3.2Inkling-Small2.9Beam 1.06.2Muse Spark Open23.8SWE-2 1xSWE-2Flash1xInkling-Small1.8xBeam 1.03xMuseSpark Open10.1xSWE-2Size1xSWE-2Flash1xInkling-Small1.8xBeam 1.03xMuseSpark Open10.1xSWE-2Size SWE-2 Flash276B-A12BInkling-Small276B-A12BBeam 1.0501B-A23BMuse Spark Open816B-A42BGLM 5.3 Flash320B-A18BDeepSeek V4.1 Flash 1017763B-A16BGPT-6 Luna Claude Haiku 5.5 SWE-22.8T-A104BFrontierCode 2.024.03.22.96.214.219.321.927.723.8FrontierCode 1.1 Main45.521.522.824.531.843.942.446.450.0DeepSWE 1.160.117.443.360.063.477.066.659.373.0Terminal-Bench 4.020.00.94.08.041.842.316.439.227.3Terminal-Bench 2.189.264.780.176.484.391.082.094.492.8SWE-Atlas QA50.027.433.954.056.571.045.256.556.3SWE-Bench Pro v2 Hard89.956.576.582.488.286.380.490.290.6ExploitBench34.811.319.5—36.031.144.738.036.1

随着模型能力不断提升，我们除了推动能力边界，也始终专注于降低日常工程工作的成本。如今，较小的模型已越来越能胜任软件 agent 所做的相当一部分工作，例如自动化、代码审查、功能开发和文档更新。

我们开发 SWE-2 Flash 正是为了满足这一日益增长的需求。它现已登陆 Devin Desktop 和 CLI，价格是其体量大得多的同系列模型 SWE-2 的五分之一，速度则是后者的 3 倍。

我们首先在 Inkling-Small 之上进行了一个大规模中期训练阶段。Inkling-Small 的总参数量为 276B，激活参数量为 12B。一个关键挑战是确定合适的数据配比：纳入哪些来源，以及各占多大比例。为指导这些决策，我们精心构建了一个高质量的留出编程数据集，用以反映模型在真实软件工程场景中的智能水平。

随后，我们使用 token 效率曲线来评估不同数据来源，并找出最有效的配比。从一次基线训练开始，我们测量每种候选数据配比需要多少 token 才能达到与基线相同的验证损失。将这一 token 数量的比值绘于 y 轴、基线 token 数量绘于 x 轴，我们就能直接比较不同配比的训练效率。

0.81.01.21B3B10B30BBaseline tokens seenToken efficiency baseline mixmix 7mix 3mix 4mix 1mix 6mix 2mix 5

我们对中期训练数据的构成进行了多轮迭代，最终确定了一个由数万亿 token 组成的数据集，涵盖高质量科学文章、博客、代码及其他来源。训练分三个阶段进行，使模型在训练后期才接触到最稀缺、质量最高的数据。在每个阶段中，留出验证损失都以稳定的对数线性速率改善。

Stage 1Stage 2Stage 3

在中期训练阶段之后，我们进行了大规模强化学习。虽然我们对 SWE-2 的 RL 方案做了一些调整，但大部分提升来自我们 RL 任务质量和多样性的显著提高。

在质量方面，我们仔细审查了任务的指令、环境搭建和验证器。在多样性方面，我们设计了若干新的任务类型，覆盖的能力范围远胜以往，以培养 Devin 真实工作所需的通用推理和问题解决能力。在这些数据上训练，使我们所测量的几乎每一项基准都取得了显著提升。

Rollout scoreBenchmark average

起源与网络安全#

对于敏感、关键任务型的工作，客户需要的不仅仅是一个置于 API 背后的有能力模型。随着网络安全日益成为主要用例，风险也随之升高。企业和政府需要可观测性，以便在自己的基础设施上（包括本地部署）托管和控制部署。学术界和产业界的研究人员需要研究模型的行为方式以及可能被滥用的途径。

SWE-2 Flash 的目标之一，是为行业合作伙伴和研究人员提供一种选择，既能透明地访问权重，又能在敏感环境中对其进行微调和运行。为帮助防御方，我们在训练中针对网络安全工作进行了强化，使模型的 ExploitBench 得分从 11.3% 提升到 34.8%。这些能力同样可能被恶意攻击者利用——近期网络攻击激增便是明证——因此我们暂不公开共享权重。作为一种兼顾透明度与安全的潜在方案，我们正在构建一项计划，与可信的行业合作伙伴和研究实验室安全地共享权重。更多细节将在几周内公布。