Google推出XLA Serving Engine，Arm与Intel等预览合作伙伴已用于生产

我们的 Private Preview 合作伙伴一直在积极使用 XLA Serving Engine，将他们的深度学习技术栈推向生产环境。以下是部分 Private Preview 客户（按字母顺序排列），展示了使用场景的多样性：

我们与 Arm 的合作已经证明了 JAX 和 XLA 在基于 Arm 的 CPU 上进行训练和服务的生产级能力：

“随着 AI 推理规模不断扩大，软件优化对于在各种工作负载上实现性能和效率至关重要。通过与 Google 的合作以及对 OpenXLA 的贡献，我们针对 Arm Neoverse 平台（包括 Google Cloud Axion）上的视觉、嵌入和推荐工作负载，优化了 XLA CPU 后端和服务运行时。” —— Ian Bratt，Arm 机器学习技术副总裁兼 Fellow

我们还与 Intel 建立了合作，以展示 Intel 优化计算的能力：

“我们与 Google 的合作在 Intel® Xeon® 处理器上展示了 XLA Serving Engine（XSE），通过 Intel® AMX 加速实现原生、高性能的 JAX 推理。借助 XSE，企业可以在视觉、推荐和 LLM 工作负载上获得开箱即用的性能，并灵活地在业务运行的任何位置——从云端到边缘再到本地——高效地提供服务。” —— Bill Pearson，Intel 数据中心与 AI 软件副总裁

“为了支撑我们的需求方平台（DSP）每天处理超过 6500 亿次推理、峰值达到 1050 万 QPS，我们需要一个能够匹配我们大规模场景的推理运行时。XLA Serving Engine 正是我们期待已久的高性能、基于 C++ 的 JAX 服务解决方案，它让我们保持框架无关，并与我们在 Cloud TPU Trillium 上的投入形成互补。” —— Kunal Kukreja，Moloco 资深机器学习工程师

XSE 是一个轻量级的一次性推理引擎。对于长上下文长度的大型自回归语言模型，我们推荐 vLLM 或 SGLang 等流行项目，它们受益于针对 LLM 的专用内存管理技术。

准备好简化你的 JAX 生产流水线了吗？

感谢所有为 XLA Serving Engine 做出贡献的人，包括但不限于以下个人：

Ashish Agarwal、MD Faijul Amin、Carlos Araya、Renato Arantes、Isha Arkatkar、Sagun B、Ashok Bhat、Xevi Miró Bruix、Chris Chan、Ray Chen、Chen Cheng、Hyun Min Choi、Andrea Covre、Gauri Deshpande、Tiffany Dong、Sayce Falk、Happy Gao、Vaibhav Gurunathan、Michael Hudgins、Kritanjali Jain、He Jiang、Leon Kennedy、Young Seok (Tony) Kim、Penporn Koanantakool、Kunal Kukreja、Younghee Kwon、Shawn Lee、Shawn Lu、Siddhartha Menon、Marek Michałowski、Sachin Muradi、César Naranjo、Pat Notz、Adam O'Brien、Olivia Qin、AG Ramesh、Shubha Rao、Mayank Raunak、Crefeda Rodrigues、Gassan Salama、Oleg Shaldybin、Brian Seung、Juanli Shen、Alex Shires、Jeyeon Si、Prairie Sims、Monica Song、Anne Stern、Quoc Truong、Armando Ugalde Velasco、Jess Wiser、Siqiao (James) Wu、Qinglan Xiang、Yunjie Xu、Jeffrey Yoo、Hyungsuk Yoon 和 Wangyuan Zhang。