
RunAnywhere 开源 TrnRT:面向 AWS Trainium 的 LLM 推理引擎
来源标题:Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
RunAnywhere 开源了面向 AWS Trainium 的推理引擎 TrnRT,可在单台 trn2.48xlarge 上运行 GLM-5.3 flash(FP8),并以缓存感知路由同时服务两个实例。团队称在 SemiAnalysis 的 AgentX 基准上可处理每分钟 357 万 tokens。该项目启动仅 3 周,后续将支持更多模型,并开放社区贡献。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
大家好,我是来自 RunAnywhere(YC W26)的 Sanchit。我们刚刚开源了 TrnRT:Trainium RunTime,这是我们为 AWS Trainium 打造的推理引擎。我们三周前才起步,目前已经能够在 AWS trn2.48xlarge 上服务并运行 GLM 5.3 flash(FP8),后续还会支持更多模型。欢迎大家贡献代码 :)
目前它能做到这些:
- 在单台机器(8 张 trn2)上通过带缓存感知的路由器同时服务 2 个 GLM-5.3 flash 实例。
- 在 SemiAnalysis 的 AgentX 基准测试中,可达到 3.57M TPM(每分钟 token 数)。
- decode 阶段按每半层一个 NKI kernel 运行;对于 11 个稀疏注意力层,则把两个 block 融合进单个 kernel,以获得更快的性能。
我们之所以开始做 Trn2,是因为想探索一下,看能否在成本效率上接近甚至超过 H100/H200。像 GLM-5.3 flash 这样具有 1M 上下文窗口的大型 MoE 需要大量内存,而在 AWS 上,trn2.48xlarge 的每 TB 内存成本不到 8 张 H200 的一半,因此我们想拿它做实验,现在分享一些早期结果。
但 AWS 自家的技术栈并不支持这个模型:vLLM Neuron 的最新版本没有注册任何 GLM 模型,而 AWS 自己的分布式推理框架 NxDI 也已不再积极开发。我们昨天还看到 SGLang Neuron 实现被下线,而且目前唯一可公开使用的芯片 Trn2 也没有得到良好支持。
我们跑了 SemiAnalysis 的 AgentX 基准测试,它会回放真实的编码 agent 会话:
- 1 台机器在 32 个 agent、batch 12(即并发数)的情况下,达到 28.9 RPM(每分钟请求数)。
- 在 16 个 agent、提示已缓存的情况下,P50 TTFT 约为 1.24 秒,decode 速度为 35.9 tps。
最初,在 batch 1 时,一个 kda(线性注意力)层中的 recurrence 约占该层注意力时间的 2%,其余时间花在 projections、transposes 以及小 kernel 之间的 XLA glue 上。
因此我们写了 megakernel,把整个层压缩到 2 次 kernel dispatch 内完成,使 batch 8 下的 decode 速度提升了 25%。
稀疏注意力 kernel 会把一层的活跃权重保留在 SBUF 中,将带权重的流式处理分布到各个核心,并在内部处理芯片间通信。
稀疏注意力的 prefill 中存在一处近似处理,影响约 1.2% 的 block 选择。
你可以参考这篇 write-up 查看 profiling 结果: https://runanywhere.ai/blog/glm-5-3-flash-trainium2-nki-mega...
请在 trn2.48xlarge 上亲自试一试,按照 docs/RESULTS.md 中的步骤复现 AgentX 结果。我们很乐意合作,也欢迎任何反馈。
为 GLM-5.3 系列、Kimi K3、Deepseek flash 等开放模型,以实验室级性能、一半的价格部署高性能专用推理,正是我们的盈利方式。有相关需求可以通过 founders@runanywhere.ai 联系我们。
希望这对你有用。如果你正在使用 Trainium,或者有 NKI kernel 的经验,我们非常希望听到你的真实反馈。欢迎告诉我们你下一步希望支持哪些模型,也欢迎向仓库提交任何贡献。
评论 URL: https://news.ycombinator.com/item?id=50533270 点数: 1 评论数: 0
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。