DeepSeek知乎独家发文，首次公开V4.1 Agent训练“大本营”DSec

Agent 训练需要大量的环境，首先要解决的问题就是如何大批量地构建和更新环境。以 2026 年某一周的生产数据为例，容器后端使用了 11,266 个基础镜像、102,171 个工作区以及数百个工具包。按照传统方式，上述任意一部分更新或替换，都会导致大量镜像的重建。

为此，DSec 将沙盒的环境拆分为三部分：基础镜像（base image），包含操作系统与基础软件；工作区（workspace），包含任务所需的代码仓库与依赖；工具包（toolkit），例如 DeepSeek Harness。三者的更新节奏不同，版本管理各自进行，运行时再进行组合。

具体的，DSec 使用 EROFS 格式存储镜像、工作区和工具包，同时该格式还支持元数据与数据分离，以及跨镜像去重。创建沙盒时，通过 OverlayFS 按需将各 EROFS 镜像层组合起来。当基础软件、任务代码和工具包需要更新时，只需重建发生变化的 EROFS 镜像，减少无关内容的重复构建。

单体镜像(左）：更新工具包 T1 时，所有内嵌该工具包的镜像都需要重建。可组合的环境层（右）：只需更新工具包 T1 所在的层，再与已有的基础镜像和工作区组合。

我们对生产环境使用的镜像数据进行了分析，发现沙盒运行时实际访问的数据量仅占镜像总大小的 4.2% 至 13.3%。这意味着，如果提前拉取完整镜像到本地，其中绝大部分数据都不会用到。

因此，DSec 选择将全部镜像数据存储在 3FS 分布式文件系统上，只把所需镜像的元数据拉取到本地（EROFS 格式特性），而占大头的数据则在访问时按需读取，让 I/O 开销随实际使用的数据量缩减。

在一次集中创建 8,192 个容器的实验中，与完整镜像拉取方案相比，按需加载将任务完成时间从 60 多分钟缩短至约 35 分钟，加速比约为 1.71，磁盘写入量减少约 57%。在另一项工作区供给实验中，将逐个沙盒解压 tar.gz 文件改为直接挂载 EROFS 层后，任务完成时间从 79 分钟缩短至 45 分钟。

工作区存储方式对比：从解压 tar.gz 文件改为直接挂载 EROFS 层后，任务完成时间从 79 分钟缩短至 45 分钟，磁盘写入总量降至原来的约 1/5.5。

集中创建 8,192 个容器时的三种镜像提供方式：与完整镜像拉取方案相比，按需 EROFS 加载将任务完成时间从 60 多分钟缩短至约 35 分钟，加速比约为 1.71，磁盘写入量减少约 57%。

Agent 训练的特点是，沙盒大部分时间都在等待模型生成下一步动作。如图，约 90% 沙盒的平均 CPU 用量，不会超过其申请量的 5%，CPU 会长时间闲置；但为了保留文件、进程等状态，内存需要持续驻留。这为极高的超卖率留足了空间，而我们生产环境的超卖率也超过了 50 倍。

按申请量归一化的平均与峰值 CPU、内存用量分布：约 90% 的沙盒，其平均 CPU 用量不超过申请量的 5%。

为了实现资源高密度部署，需要尽可能地共享缓存和回收闲置内存。DSec 通过 virtio-pmem 与 DAX 技术，让同一宿主机上的 MicroVM 共享一份宿主页缓存。实验中，单独启用这一机制，可使宿主机的峰值内存用量较基线下降 40.2%。实验中，单独启用内存回收机制（ DAMON 与 balloon 空闲页报告），可使按时间累计的宿主机内存消耗较基线下降 21.2%。两种机制结合使用时，总体内存消耗最低。

四种 Firecracker 配置的宿主机内存与 CPU 用量对比：相较未优化基线，单独启用 virtio-pmem 与 DAX，峰值内存用量下降 40.2%；单独启用 DAMON 与 balloon 空闲页报告机制，按时间累计的内存消耗下降 21.2%。

在如此高密度部署的情况下，DSec 还会优先保障对响应时间要求较高的任务，让时延要求较宽松的任务利用空闲 CPU 资源运行，并通过核心调度减少同一物理核心上超线程的干扰。实验表明，通过优化 CPU 调度，当同机运行的其他任务占用节点 50% 的 CPU 容量时，时延敏感任务相对于无干扰基线的时延增幅由 45.2% 降至 17.3%。