
Maxwell 在 B200 上运行 DeepSeek-v4.1-Flash 比同级别 GB300 更快
来源标题:Maxwell made DeepSeek-v4.1-Flash on B200s faster than comparable GB300s
Maxwell 将代码执行模型用于整个 LLM 推理栈后,在 B200 上运行 DeepSeek-v4.1-Flash 的端到端延迟低于同级别 GB300。团队更看重端到端延迟而非单纯解码速度,因为 agent 多轮任务中首 token 等待在高负载下可占半轮时间。SemiAnalysis 为此构建了 AgentX 来测量并发会话等 agent 负载特征。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Maxwell 用于推理 Maxwell 是我们的代码执行模型。到目前为止,我们已经用它来加速 kernel、数据管线和视频模型推理。这一次,我们把它指向了整个 LLM 服务栈。如今我们都在用 agent。Agentic 工作负载是多轮的:我们调用模型,模型输出工具调用,这些工具调用被执行,然后结果回到模型进入下一轮。通常,大部分时间都花在等待模型完成回复上。这意味着端到端延迟,也就是从发出请求到收到最后一个 token 的时间,决定了 agent 完成工作的速度。和所有人一样,我们运行大量 agent,所以这是我们最关心的数字。还有另一个指标只衡量“解码速度”,也就是不包含首个 token 之前的等待。由于每个 agent 轮次都以首个 token 的等待开始,在负载下这部分可能占据整个轮次的一半时间。因此,我们更倾向于用端到端指标来衡量 agentic 任务真正需要多长时间。Agent 的 serving 其实很难做。有多少并发会话?它们在执行什么?它们多久回来请求更多?SemiAnalysis 构建了 AgentX 来精确测量这些。AgentX 是一个 benchmark,它把真实的 Claude Code 会话回放到推理服务器上,包括它们的子 agent 以及工具执行期间的暂停,并测量每 GPU 吞吐量以及每个用户被服务的速度。我们让 Maxwell 优化 DeepSeek-v4.1-Flash,重点关注端到端延迟,并使用 AgentX 进行测量。B200 上最快的 serving Maxwell 的引擎不仅极快,而且极其稳定一致。最先进的引擎,如 vLLM 和 SGLang,在某些场景下表现良好,在另一些场景下表现糟糕。与它们不同,Maxwell 的引擎无论 serving 少量 agent 还是数百个 agent,都保持在接近硬件最大值的水平。Maxwell 的引擎在整个范围内都胜过两者,并且在服务器最繁忙时领先最多。在超过一百个 agent 运行时,每个 agent 获得回答的速度约为 vLLM 的两倍,同时 GPU 整体产出的 token 也更多。在低负载下,vLLM 是已公开方案中最强的。Maxwell 的引擎在每种负载下仍然胜过它。这距离硬件能做到的(“roofline”)有多近?对于每种负载,我们估算了 B200 在给定内存带宽和算力、以及 agent 等待工具的时间的情况下,可能产生的最大输出量。从 64 到 256 个并发会话,Maxwell 的引擎达到该最大值的约 10% 以内,在 64 个会话时则正好达到。B200 上的 GB300 速度 在 GPU 对 GPU 的比较中,B200 能多接近 GB300——NVIDIA 更新且强大得多的芯片?为了找出答案,我们将 Maxwell 的引擎与 InferenceX 上发布的所有 GB300 运行结果进行了比较,最多使用 4 块 GPU——这正是 Maxwell 优化所用的 B200 GPU 数量。Agent 等待更少 端到端延迟有两个组成部分:等待首个 token 的时间,以及流式传输其余 token 的时间。Agent 在每一轮都会感受到第一个组成部分,因为每一轮都会增加新的上下文,模型必须先读取这些上下文才能开始回答。在负载下,vLLM 和 SGLang 可能让 agent 为此等待超过一秒。Maxwell 的引擎将这一等待保持在很短的水平。从 1 到 128 个并发会话,十分之九的请求在大约 0.2 秒内获得首个 token。在 128 个会话时,这比 vLLM 和 SGLang 快数倍。Maxwell 的引擎还能同时处理多得多的 agent。已发布的 vLLM 和 SGLang 在 B200 上的结果止步于 128 和 256 个并发会话。原因是它们难以处理高并发。例如,vLLM 在 512 个会话及以上时会崩溃。Maxwell 的引擎轻松支持这些高并发:在单节点 1,024 个会话时,它每 GPU 每秒产生近 5,000 个 token,同时仍以约每秒 40 个 token 的速度向每个 agent 流式传输回答。Maxwell 动态适应 已发布的 AgentX 结果是针对每种负载逐一调优的。上图中的 vLLM 和 SGLang 线并不是真正的线。每个点都是引擎的一个独立配置,针对该特定负载启动和调优。Maxwell 的引擎是一个单一引擎,可服务所有负载。它随负载变化而自适应,从切换拓扑、替换底层 kernel,到改变请求调度方式,全部在 serving 过程中完成。这方面还有更多内容。你如何确保更快的引擎仍然给出相同的答案?当优化器发现一个加速结果其实是 bug 时,你该怎么办?其中有多少能迁移到其他模型和其他硬件?我们将在后续文章中展开这些内容。即将登陆 OpenRouter 我们很快将在 OpenRouter 上提供 Maxwell 优化的模型。敬请期待……
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。