谷歌TPU跑Kimi比英伟达GPU快57%！用的还是DeepSeek推理框架

vLLM是目前开源推理引擎领域的重量级框架，支持超过500种模型架构，社区贡献者超过2000人，Meta、Google、Character.ai都拿它来做线上的推理服务。

CEO Simon Mo是vLLM项目的原始维护者，伯克利EECS毕业，之前在Anyscale工作。

联合创始人Woosuk Kwon是整个vLLM项目的发起人，伯克利计算机科学博士，导师是Ion Stoica。

Kwon提出的PagedAttention算法解决了GPU显存管理中的碎片化问题，这个算法至今仍然是vLLM的核心技术。

首席科学家游凯超曾获清华大学特等奖学金，他在vLLM中主导了分布式推理功能的开发。

Inferact今年完成了1.5亿美元的种子轮融资，公司估值8亿美元。a16z和Lightspeed领投，真格、红杉、Altimeter跟投。

这次的TPU megakernel来自Inferact与Google Cloud的一项联合工程合作。

双方的目标是让TPU成为vLLM的一流支持对象，所有的优化成果都会回馈给上游的开源社区，tpu-megakernels代码仓库是这次合作的第一个公开成果。

参考链接：

700 TPS on Kimi K3: A Case for TPU Megakernels