返回资讯中心
外部精选
软件工程
#开发者实时流

Google开源XSE引擎:移除Python以提升AI推理性能

来源标题:Google gooses Python AI performance by... removing Python

Google开源了XLA Serving Engine(XSE),通过将推理流程中的Python替换为C++来降低开销。XSE已在Search、Ads和YouTube Shorts等服务中每秒处理600万次查询,主要面向排序、推荐、嵌入和视觉等高频低延迟的小模型任务,而非大语言模型推理。

Hacker News 最新pjmlp2026/11/12 · 5 天前7 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

谷歌开源XSE,每秒处理600万次查询,覆盖搜索、广告和YouTube Shorts等服务

“用Python训练,用C++推理”几乎成了谷歌机器学习工作的座右铭。Python对数据科学家来说容易上手,但在推理服务流程中保留解释器会增加开销和部署麻烦。由业界支持的OpenXLA项目提供了工具,可将机器学习计算编译成针对不同处理器的原生代码。

这套方案最新开源的部分是XSE,全称XLA Serving Engine。XSE不太适合大规模LLM推理(那更适合用vLLM或SGLang),而是更适合更小、更聚焦特定任务的模型——谷歌有大量这类模型。

谷歌产品管理总监Nathan Beach周二在LinkedIn上发文写道:“LLM推理现在最受关注,但大量生产推理仍然是排序、推荐、嵌入和视觉模型。这些请求通常很短,每秒查询数非常高,延迟预算也很紧。”在谷歌,XSE已经在其包括YouTube Shorts、Google Ads和Search在内的服务中每秒处理超过600万次查询。

这些模型不是用来悠闲聊天的。它们对结果排序、推荐视频,并即时做出其他决策,用户往往毫无察觉。如果每个请求都要经过Python解释器思考,那会成为瓶颈,甚至可能拖垮谷歌本身。谷歌在短请求测试中,XSE的吞吐量达到其最佳优化Python服务器的两到五倍,而内存占用仅为后者的四分之一。

在这套方案中,机器学习专家用Python编写模型代码,并使用谷歌的JAX辅助计算。谷歌还计划与TorchTPU集成,让PyTorch用户能够导出模型,在TPU上进行C++推理。导出工具会将模型的计算打包为StableHLO(一种可移植的中间表示),并将训练好的权重一起打包成“XLA SavedModel”。

这个C++推理运行时准备好后,会使用XLA将这些计算编译成面向目标芯片的原生代码。这里看不到Python解释器。XLA SavedModel可以在GPU和CPU上运行——谷歌与Arm和Intel合作开发了XLA生态。但谷歌显然认为,如果你把模型跑在它自家的TPU加速器系列上,那会更酷。

Python的缓慢仍然是机器学习社区的一个问题。除了XSE,人们还采取了其他方法,其中很多都涉及尽快丢弃Python代码。PyTorch提供了一个名为LibTorch的原生C++运行时。此外,微软及其合作者提供了ONNX Runtime,它支持一种开放图格式,并提供Python绑定。就连Python自己的参考实现也严重依赖C,而Rust如今也开始挤进门来。®

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →