返回资讯中心
外部精选
软件工程
#开发者实时流

Harbor在Tensorlake上实现100个并行rollout,每批成本37美分

来源标题:Harbor: 100 parallel rollouts on Tensorlake, 47 rollouts/minute at 37¢ per batch

Harbor在Tensorlake沙箱上以100并发运行rollout,吞吐量达到每分钟47次,每批成本37美分。从10并发提升到100并发后,吞吐量提升7.9倍,300次rollout全部通过测试;100并发时rollout延迟中位数为110.6秒,比单次运行高23%。

Hacker News 最新sebuzdugan2026/11/10 · 7 天前22 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

机器学习 LLM MLOps 强化学习 在 Tensorlake 上并行运行 100 个 Harbor rollout:每批 37 美分,每分钟 47 个 rollout 从 10 个并发沙箱扩展到 100 个:吞吐量提升 7.9 倍,300 个 rollout 全部通过。 Sebastian Buzdugan 阅读时长 8 分钟· 刚刚

本文由 Tensorlake 赞助。他们为本文付费并审阅了草稿;以下数据来自我本人于 2026 年 11 月 5 日和 6 日进行的运行。

Harbor 是 Terminal-Bench 作者团队开发的框架,默认一次运行 4 个编码 agent rollout,Terminal-Bench 2 的 README 示例在本地 Docker 上也使用同样的 4 个并发。这只是配置默认值,并非技术限制:Harbor 可以运行远多于 4 个并发,其文档展示了在其他云沙箱上运行 100 个并发 rollout。不过在本地 Docker 上,提高并发数就会撞上你自己机器的瓶颈。这样一来,每个 RL 步骤都要等待批次中最慢的那个 rollout。

于是我在 Tensorlake 沙箱上以 100 并发运行 Harbor,使用同一条命令,只改了两个参数。100 个 rollout 大约两分钟完成。从 10 个并发扩展到 100 个,吞吐量提升了 7.9 倍。在 100 并发下,rollout 延迟中位数为 110.6 秒,比运行单个 rollout 高 23%。下面说明这些秒数和费用花在了哪里。

我用 Harbor 在 Tensorlake 沙箱上进行了测量。结果汇总在一张表中:

吞吐量等于 rollout 数量除以批次实际耗时。实际耗时取 3 次运行的中位数:并发 1 时为 96.4 秒,并发 10 时为 100.1 秒,并发 100 时为 127 秒(三次运行分别为 166 秒、127 秒和 118 秒)。

需要记住的四个数字:从 10 到 100 并发,吞吐量提升 7.9 倍(达到线性扩展的 79%);100 并发下 rollout 延迟中位数比单个 rollout 高 23%;100 并发下 300 个 rollout 全部通过;100 个 rollout 的沙箱成本为 37 美分,数据来自 Tensorlake 的用量 API。

图 1. 并发 1、10、100 时的吞吐量与线性理想值的对比。从 10 到 100,吞吐量增长 7.9 倍,为线性扩展的 79%。

所有测试都使用 Harbor 的 oracle agent。oracle 会重放任务的参考解,因此整个流程中没有语言模型参与。这是有意为之:它将 Tensorlake 负责的部分(沙箱)与随模型变化的部分隔离开来。这也意味着这些是基础设施层面的数字,而不是 agent 的通过率。请把 300/300 理解为“管道没有丢任何东西”,而不是“agent 表现很好”。

在虚拟环境中安装(安装过程会拉取 130 多个包,我这边耗时 157 秒):

pip install "harbor[tensorlake]" export TENSORLAKE_API_KEY=...

运行 rollout,使用一个 Terminal-Bench 2.1 任务,其镜像 Tensorlake 已经发布,因此没有构建步骤:

harbor run --env tensorlake
--dataset terminal-bench/terminal-bench-2-1
--include-task-name terminal-bench/pytorch-model-cli
--agent oracle -k 100 -n 100

-k 表示尝试次数,-n 表示同时运行的数量。从 10 到 100 只是改两个数字。任务和评估器中的其他内容都没有变化。Harbor 也支持原生 Windows,我就是在 Windows 上运行的。

有一个前提:100 个并发沙箱需要基于额度(用量)的套餐,该套餐的并发沙箱上限为 100。免费套餐的并发限制更低,因此无法运行这条命令。

图 2. 唯一的变化是 rollout 运行的位置。Harbor 默认一次运行 4 个 trial;每个 Tensorlake 沙箱承担一个 rollout。

从 10 到 100 并发,吞吐量提升了 7.9 倍,是理想情况下 10 倍扩展的 79%。缺失的 21% 代价体现在延迟上:在 100 并发下,rollout 中位耗时为 110.6 秒,比单独运行单个 rollout 的 89.9 秒多 23%(10 并发时中位数约为 90 到 93 秒)。这一差距中超过一半来自 verifier(单独运行时 40.7 秒,100 并发时 52.7 秒)。Setup 略有增加(从 8.2 秒到 8.6 秒),agent 步骤从 37.0 秒增加到 42.0 秒。

可靠性保持稳定:100 并发下 300 个 rollout 全部通过,我所有 oracle 运行合计 334 个全部通过。

尾延迟是变化最大的部分。每批中最慢的 rollout 决定了该批次的实际耗时:三次运行分别为 163.6 秒、127.2 秒和 117.5 秒。因此在 100 并发下,要按最慢的 rollout 来规划,而不是中位数。如果你的训练器等待整个批次完成,尾延迟就是你的步骤时间。如果它能在 rollout 到达时立即使用,你就能更快获得大部分收益。

在扩展任何东西之前,我将一个 rollout 拆分为各个阶段(3 次运行的中位数):沙箱 setup 8.2 秒(9%),agent 步骤 37.0 秒(41%),verifier 40.7 秒(45%)。

图 3. 同一个 rollout 单独运行与 100 并发运行的对比。verifier 增长最多(从 40.7 秒到 52.7 秒)。

有两点值得注意。沙箱耗时不到整个 rollout 的十分之一,因此“沙箱启动”并不是 RL 时间的主要去向。而 verifier 的耗时与 agent 相当:评分占了工作的一半,所以一个 rollout 会占用一整台机器长达一分半钟,而不只是 agent 执行的那一轮。

关于 API 调用本身,Sandbox.create() 从我笔记本电脑发起的 24 次创建中,中位耗时为 1.27 秒。Tensorlake 的文档称沙箱在数百毫秒内启动;正如团队向我解释的,这个数字指的是创建后操作系统启动的时间,而不是 API 往返时间,因此从你的代码调用到获得可用沙箱大约需要 1.25 秒,而在 Harbor 中大约需要 8 秒,直到任务容器就绪。

这个数字是测量出来的,不是猜测的。Tensorlake 的用量页面报告每个沙箱的成本,因此我导出了我账户的用量数据。其中列出了运行我 oracle rollout 的 334 个沙箱,每个规格为 2 CPU、4 GB 内存和 30 GB 磁盘(任务要求的规格更低,但 Harbor 的 Tensorlake 环境会将每个沙箱提升到该最低配置)。Tensorlake 对所有这些沙箱共收费 1.23 美元:约每个 rollout 0.37 美分,每 100 个约 37 美分。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →