返回资讯中心
外部精选
软件工程
#社区热议

RunAnywhere 开源 TrnRT:面向 AWS Trainium 的 LLM 推理引擎

来源标题:Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium

RunAnywhere(YC W26)开源了其面向 AWS Trainium 的推理引擎 TrnRT,项目启动仅 3 周,已能在 trn2.48xlarge 上运行 GLM 5.3 flash(FP8)。目前在单机 8 张 trn2 上可同时服务 2 个 GLM-5.3 flash 实例,在 SemiAnalysis 的 AgentX 基准上达到每分钟 357 万 token 的吞吐。团队称因 AWS 自家 vLLM Neuron 与 NxDI 不支持该模型才自研,后续将支持更多模型。

Hacker Newssanchitmonga222026/11/17 · 今天8 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

大家好,我是来自 RunAnywhere(YC W26)的 Sanchit。我们刚刚开源了 TrnRT:Trainium RunTime,这是我们为 AWS Trainium 打造的推理引擎。我们三周前启动这个项目,目前已经能够在 AWS trn2.48xlarge 上服务和运行 GLM 5.3 flash(FP8),后续还会支持更多模型。欢迎大家贡献代码 :)

目前它能做什么:

  • 在单台机器上服务 2 个 GLM-5.3 flash 实例,配备 8 个 trn2 和一个缓存感知路由器。
  • 在 SemiAnalysis 的 AgentX 基准测试中,每分钟可处理 357 万个 token(TPM)。
  • 解码阶段按每半层一个 NKI kernel 运行,对于 11 个稀疏注意力层,则将两个块融合为单个 kernel,以获得更快的性能。

我们开始做 Trn2,是因为我们想探索它,看看在成本效率方面能否接近甚至超越 H100/H200 的表现。像 GLM-5.3 flash 这样具有 100 万上下文窗口的大型 MoE 模型需要大量内存,而在 AWS 上,trn2.48xlarge 每 TB 内存的成本不到 8 块 H200 的一半,因此我们想在这方面做实验,现在分享一些早期结果。

但 AWS 自家的技术栈并不支持这个模型:vLLM Neuron 的最新版本没有注册任何 GLM 模型,而 AWS 自己的分布式推理框架 NxDI 也已不再积极开发。我们昨天还看到 SGLang Neuron 实现被下线,而且对 Trn2 没有良好的支持,而 Trn2 是目前唯一可供公众使用的芯片。

我们运行了 SemiAnalysis 的 AgentX 基准测试,该测试回放真实的编码 agent 会话:

  • 单台机器在 32 个 agent、批大小为 12(即并发数)的情况下,每分钟处理 28.9 个请求(RPM)。
  • 在 16 个 agent、使用缓存提示词的情况下,P50 TTFT 约为 1.24 秒,解码速度为 35.9 tps。

最初,在一个 kda(线性注意力)层中,递归部分在批大小为 1 时约占该层注意力时间的 2%,其余部分是投影、转置以及小 kernel 之间的 XLA 胶水代码。

因此我们编写了 megakernel,将整个层压缩到 2 次 kernel 调度中,使批大小为 8 时的解码速度提升了 25%。

稀疏注意力 kernel 将一层的活跃权重保留在 SBUF 中,在各个核心之间分配加权流式处理,并在内部处理芯片间通信。

稀疏注意力预填充中存在一个近似处理,影响约 1.2% 的块选择。

你可以参考这篇技术文章查看性能分析结果: https://runanywhere.ai/blog/glm-5-3-flash-trainium2-nki-mega...

请在 trn2.48xlarge 上亲自尝试,并按照 docs/RESULTS.md 中的步骤复现 AgentX 结果。我们很乐意合作,也欢迎任何反馈。

为 GLM-5.3 系列、Kimi K3、Deepseek flash 等开放模型部署高性能的专用推理服务,达到实验室级别的性能且价格减半,这就是我们的盈利方式。你可以通过 founders@runanywhere.ai 与我们联系洽谈相关事宜。

希望这对你有用。如果你正在使用 Trainium,或者有 NKI kernel 的经验,我们非常希望听到你的真实反馈。欢迎分享你希望接下来支持哪些模型,也欢迎向仓库贡献代码。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →