返回资讯中心
外部精选
软件工程
#开发者实时流

M* 推出统一多模态模型服务系统,性能最高提升 12.5 倍

来源标题:A Modular, Extensible, Serving System for Multimodal Models

M* 发布了一个模块化、可扩展的服务系统,用单一运行时支持五类结构各异的复合多模态模型。在已测试的模型上,M* 匹配或超过各模型专用服务系统,语音与图像服务最高提速 2.7 倍,世界模型推演最高提速 12.5 倍。

Hacker News 最新groodt2026/11/17 · 昨天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

像 vLLM 和 SGLang 这样的 LLM 服务系统都建立在同一个假设之上:推理是一个单一的、自回归的循环——先对 prompt 做 prefill,然后逐个 token 做 decode,直到模型停下来。最新的多模态模型打破了这一假设。下面用五个模型家族来具体说明:

它们是复合式的:由结构上彼此不同的组件搭建而成——视觉编码器、transformer 主干、扩散与 flow 头、音频编解码器、动作与世界模型预测器——这些组件之间的连接方式会随输入而变化。它们引入了非自回归循环(扩散图像生成、可变时域的世界模型 rollout)、内部并行(classifier-free guidance 的各分支;omni 模型中流水线式的 Thinker–Talker),以及依赖输入的路径(在 BAGEL 中,生成图像和理解图像走的是同一个模型的不同组件)。

M* 用单一运行时服务上述所有模型。在我们做过基准测试的模型上,M* 达到或超过了为每个模型专门构建的系统——在语音和图像服务上最高快 2.7 倍,在世界模型 rollout 上快 12.5 倍。本文余下部分从代码入手,展示 M* 是如何工作的。

复合模型同时带来三方面挑战:架构多样性(多条路径、非自回归循环)、高性能的模块化(HuggingFace Transformers 灵活但慢;vLLM 和 VoxServe 快,但被锁定在特定领域),以及物理拓扑(异构组件希望有不同的放置方式、批处理方式和传输方式)。

vLLM 和 SGLang 在自回归文本上非常出色,但它们被锁定在特定模态:为文本生成而构建,图像(甚至文本)输入只作为 prefill 阶段的编码器附加项被支持,并且只有一个 decode 循环,其输出永远是文本。没有一种一等公民的方式来把异构组件组合成循环和并行分支——没有 CFG fan-out——也没有跨组件的流式传输。vLLM-Omni 和 SGLang-Omni 走得更远,它们把一次请求建模为一条扁平的阶段流水线,阶段之间用显式的数据传输函数连接——这足以支撑 Thinker–Talker–codec 这样的一条链。但迭代始终发生在单个阶段内部,阶段之间无法并行组合,因此扩散循环或 classifier-free guidance(CFG)fan-out 这类模式只能作为胶水代码按模型逐个添加。例如在 vLLM-Omni 中,BAGEL 的 CFG 就是通过一个基于 torch.distributed 的定制插件来运行的。

我们构建 M*,是因为我们希望让当前和未来的复合模型都能更容易地达到最先进的效率。我们发现,现有系统可以被泛化为 M* Walk Graph。

表 1. 此前每一种抽象都是 Walk Graph 的一个受限子集。

在 M* 中,一个模型被声明为一张图:模型组件节点由 tensor 边连接,再加上一组具名的 Walk。每个 Walk 是用于某一行为阶段的带标签子图。一次请求就是一系列 Walk,由模型作者写的一个小状态机来选择。作者只提供图和 Walk。所有物理层面的事情——放置、调度、批处理、tensor 传输、流式传输——都是运行时的职责。

例如,BAGEL 有四个核心组件——vit_encoder、vae_encoder、LLM 和 vae_decoder——以及若干 Walk。状态机按请求把它们以不同方式串起来:

把请求定义为 Walk,意味着运行时只执行该请求所需的组件。图像理解永远不会触碰扩散循环或 vae_decoder;图像生成永远不会走 ViT 理解路径。

Walk 依据作者写的状态机来运行:它根据输入模态构建 prefill 步骤,然后根据请求的输出转入 decode 或图像生成(注意:这是对实际 M* 模型代码的简化):

# Pick the next Walk based on the current phase
def next_walk(self, state):
    if state.prefill_steps:            # still consuming inputs
        return state.prefill_steps.pop(0)  # prefill_text / prefill_vae / prefill_vit
    if state.target == "image":
        return "image_gen"             # image_gen_cfg when CFG is configured
    return "decode"                    # otherwise, autoregressive text

接下来我们看看模型作者如何定义 BAGEL 的图。如果你想先把它跑起来,请前往 quickstart。

从一个节点开始。一个节点为它的输入命名,并声明每个输出去往哪里。BAGEL 的 vae_decoder 接收去噪后的 latents,并向客户端输出一张图像:

from mstar.graph.base import GraphNode, GraphEdge
from mstar.graph.special_destinations import EMIT_TO_CLIENT

vae_decoder = GraphNode(
    name="vae_decoder",
    input_names=["latents"],
    outputs=[
        GraphEdge(next_node=EMIT_TO_CLIENT, name="image_output",
                  output_modality="image"),
    ],
)

图只负责命名输入、输出和连接关系。节点背后的计算是一个 torch.nn.Module——模型作者实现 prepare_inputs 和一个纯 tensor 的 forward,运行时负责批处理、KV 缓存、CUDA graph 和 tensor 传输。下面是 vae_decoder 节点对应的 Submodule:

class VAEDecoderSubmodule(NodeSubmodule):  # NodeSubmodule is a torch.nn.Module
    def __init__(self, vae_model):
        self.vae_model = vae_model

    def prepare_inputs(self, graph_walk, fwd_info, inputs):
        # gather the tensors this node consumes from its input edges
        return NodeInputs(tensor_inputs={"latents": inputs["latents"][0]})

    def forward(self, graph_walk, engine_inputs, latents):
        # pure tensor compute; outputs are keyed to the node's output edges
        image = self.vae_model.decode(unpatchify(latents))
        return {"image_output": [image]}

加一个循环。BAGEL 在其 LLM 主干上运行 flow-matching 步骤来生成图像,然后把最终的 latents 解码成像素。这在 M* 中可以用一个 Loop 来表达:Loop 会反复运行它内部的区段,把每一步的输出作为下一步的输入回馈进去。循环结束后,它的输出继续向前路由——在这里,latents 被路由到我们刚刚构建的 vae_decoder:

from mstar.graph.base import Sequential, Loop

image_gen = Sequential([

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →