
研究者推出 vstack 与 veriserve,用形式化验证检查 AI 智能体编写的推理引擎
来源标题:Towards Verifiable LLM Infra
研究者提出 5 阶段形式化验证流程 vstack,并基于它构建了可验证 LLM 服务引擎原型 veriserve,用于检验 AI 智能体编写的推理基础设施是否正确。团队将该流程用于生产级 Prefill-Decode 服务验证,在 SGLang 和 vLLM 中发现三类真实的 RDMA 与缓存并发缺陷。该方案针对的痛点是:智能体并行编写代码时人工审查难以扩展,而让智能体互相审查效果有限。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
编码 agent 在编写 LLM 基础设施方面正变得相当出色,从 GPU kernel、调度器到自定义 serving engine 都不在话下。假设一个 AI agent 已经强到能从零构建一个快速推理引擎;那么问题的后半段,瓶颈就从能力转移到了验证:我们怎么知道它写的引擎真的正确?通过延迟和吞吐基准测试,仍然会有罕见的并发 bug 被隐藏起来。当单个工程师开始并行编排 100 个、1000 个甚至 10000 个编码 agent 时,人工代码审查会撞上一堵硬性的认知墙。让 agent 去审查其他 agent 也解决不了这个问题;正如 pstack 作者 Lauren Tan 所指出的,对抗式审查大多是在浪费 token,把这些 token 花在经验验证和形式化验证上要好得多。
在这篇文章中,我们介绍 vstack——一个面向编码 agent 的 5 阶段形式化验证工作流,以及 veriserve——一个原型可验证 LLM serving engine,带 PD 分离,围绕一个经过形式化验证的 KV-page 生命周期设计模型构建。将 vstack 应用于生产环境的 Prefill-Decode serving,在 SGLang 和 vLLM 中发现了三类真实的 RDMA 和缓存并发 bug,并由此提出了 6 个上游 pull request。同时,veriserve 为其 PdLedger 设计模型提供了包含 226 个模块、516,973 条义务的 TLAPS 安全性证明,同时在 NVIDIA GB200 上仅增加 0.18% 的平均 p50 TPOT 开销。我们相信,随着自主编码 agent 编写生产系统最底层的代码,可验证 serving 将定义 LLM 基础设施的后半程。
为什么我们需要可验证 serving 为什么验证一个 LLM serving engine 从一开始就这么难?过去三年里,vLLM 和 SGLang 这类推理引擎已从单节点执行器演变为异步分布式系统,在同一池物理 GPU KV page 之上叠加了分页 KV 内存、共享前缀缓存和分离式 prefill-decode RDMA 传输。当一个请求超时或被中止时,它的清理工作现在要同时在 RDMA 网卡、CPU 缓存树和 GPU attention kernel 之间竞争。由于 GPUDirect RDMA 直接写入 GPU 内存而不经过目标 CPU,生命周期不匹配往往不会让服务器崩溃,而是返回 HTTP 200 OK,同时悄悄把一个用户的 KV 缓存混入另一个用户的响应中。最近 LMSYS 和 Cloudflare 的披露凸显了生产环境中的这一风险,记录了两个问题:跨节点 RDMA 中止竞争,以及一个被拒绝请求的 KV 交接 bug,该 bug 在 155 个用户响应中泄露了数据。
更糟的是,在真实硬件上捕捉这些静默的并发 bug 既慢又极其昂贵。标准 CI 单元测试在单机上运行,只覆盖已知路径,而罕见异步交错下的微妙分布式竞争很少在 CI 中浮现。复现一个 RDMA 生命周期竞争需要 H100 或 GB200 这样的多 GPU RDMA 硬件、独立的 prefill 和 decode 实例,以及紧密的跨 worker 时序。在 GPU 集群上用长时间压力测试把它们冲出来,会消耗稀缺的算力,而且仍然无法保证所有竞争条件都已消失。
为了不烧 GPU 小时就能抓住这些深层并发 bug,我们转向形式化验证:将系统建模为状态机,结合 TLA+ 模型检查与 Z3 和 TLAPS 定理证明器,在 CPU 上穷尽探索数百万种异步调度并证明安全不变量。过去,形式化验证对 AI 基础设施并不实用,因为 vLLM 和 SGLang 这类引擎持续合入新的 pull request,而手动编写和更新形式化规约与证明需要数月的人力。如今,编码 agent 给了我们弥合这一差距的实用方式。由于 LLM 能阅读大型系统代码库,并远比手动证明工程更快地生成数千行形式化规约和证明,我们可以引导编码 agent 对关键子系统进行规约、模型检查和证明,使可验证 serving 在快速演进的 open-source 项目中变得实用。
我们如何验证:用 vstack 做形式化验证 要把 agent 驱动的形式化验证变成可靠的工作流,需要先解决两个直接挑战。第一,形式化验证最难的部分不是运行求解器,而是写出准确的 Specification:一个软件在任何异步调度下都绝不能违反的需求。得益于 open-source 的 vLLM 和 SGLang,我们不是凭空发明这些需求,而是直接将它们建立在真实用户 issue、bug 修复 PR 和 GPU kernel 前置条件之上。
第二,即使有了清晰的规约,简单让一个编码 agent 写形式化模型并证明它,也很少能开箱即用。当模型检查器报告一个竞争条件时,一个天真的编码 agent 往往会 reward-hack 验证器:它不暴露真正的 bug,而是削弱不变量、从模型中删掉超时分支,或添加一个不现实的 ASSUME 语句,让检查器返回 0 错误。
图 1. 5 阶段 vstack 验证工作流。常见的 agent reward-hack,如削弱规则、删除超时分支或假设竞争不存在,会被固定的规约、保真度检查和证明门禁拦截,直到真正的修复通过。为了防止 reward hacking 并使 agent 驱动的验证可靠,我们构建了 vstack,一个面向 Claude Code 和 Cursor 的 open-source 插件,强制执行 5 阶段验证工作流:
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。