英国金融科技公司Revolut自托管AI模型，编程成本降低至十分之一

英国金融科技公司Revolut通过自托管将AI编程成本降低10倍

事实证明，便宜的token能让工程师去做那些节省时间的事情，比如调试和处理Jira工单。

上个月在纽约举行的AI Engineer大会上，这家英国金融科技公司的运维与基础设施负责人David Abitbol讲述了该公司在向约2000名工程师推广AI编程工具后，编程时间改善了60%、前置时间改善了70%。Revolut最初采用GLM-5.1，随后迁移到GLM-5.3，目前使用56块Nvidia B200 GPU来提供服务。

在转向GLM之前，Revolut一直在尝试AI，于2025年初部署了Gemini，2026年初部署了Claude Code。“我们当时对AI的成本高度怀疑。我们看到工程师每月花费1000美元、10000美元，却没有太多ROI，所以我们在推出时设置了严格的预算限制，”Abitbol说。

正因为如此，工程师只能访问有限数量的token，于是公司开始研究自托管自己的模型。以每百万输入/输出token 0.30美元计算，自托管GLM 5.1的成本约为使用OpenAI的Codex或Anthropic的Claude Code的十分之一。而事实证明，当token便宜时，你就不再担心他们用了多少、用来做什么。

尽管Revolut确实看到了编程速度的提升，但Abitbol指出，最大的瓶颈实际上并不是代码。相反，他表示最大的收益来自让AI模型处理调试以及Jira和Confluence工单之类的事情。“当你拥有无限的token时，你就可以自由地去做这些，”他说。“你不再需要把token留到季度末或留给最困难的任务。”

GLM 5.1由中国开放权重模型开发商Z.ai开发，严格来说并不是一个小模型。该模型总参数约为7540亿（每生成一个token激活400亿），仅保存权重就需要约380 GB的GPU内存，另外每个用户还需要6-26 GB来维持上下文，具体取决于精度。

为了大规模提供GLM-5.3服务，Revolut部署了56块Nvidia B200 GPU，在GPU数量上相当于七套八GPU的DGX B200系统。但正如Abitbol所指出的，最大的性能提升并非来自增加GPU，而是来自调整模型的超参数，同时切换到NVFP4量化、实现分离式prefill和decode，以及调整上下文长度。

一个关键要点是，支持一百万token的上下文窗口并不一定能让如此大的窗口变得有用或高效。“长上下文是个骗局。你真的需要对此保持警惕，”Abitbol说。“即使你可以服务一百万token，256[千]才是你真正需要的。”

通过这些优化，Abitbol表示公司能够在约256000 token的上下文窗口上实现低于3秒的首token时间，以及约每秒200 token的生成速度，他指出这两者都是公司软件工程师的最佳平衡点。

“你想要瞄准的是低于3秒的首token时间。这是经验证据。一旦超过5秒，我的Slack收件箱就开始爆了，”Abitbol说。“就吞吐量而言，它其实没那么重要。就交互性而言，我们提供每秒200 token。人们[对此]没问题。你不需要更高。人们的工作方式已经改变了。我们不再盯着思考token的流。人们并行运行任务，并在任务完成时查看。”

而如果吞吐量是个问题，他指出下午5点后登录的工程师能达到接近每秒800 token。

然而，值得注意的是，GLM并没有完全取代GPT或Claude。这个中国模型仅支持文本，因此不太适合UI工作之类的事情。因此，Revolut改用模型路由器将视觉查询导向Gemini或GPT Luna等模型，同时让代码生成继续在GLM上运行。

“开源现在是Revolut的优先事项，我们的经济账是有利的。计费是固定的，月底不会有账单惊吓，前沿模型是例外，”Abitbol说。

话虽如此，Abitbol承认，出于隐私和安全原因，中国开放权重模型可能令人担忧，但他强调，主要的担忧是通过运行在中国的API访问它们。当在本地或区域云资源上运行时，真的没什么可担心的。®