Verda 预览上线模型即服务 Verda Inference，首发 Kimi K3.1 Pro

AI 团队已经在 Verda 上训练、微调和部署他们的模型，从专用 GPU 集群到按需伸缩的 serverless 容器都有覆盖。今天，我们在其之上再加一层。Verda Inference 是我们的模型即服务（MaaS）产品：为前沿开源权重模型提供托管推理，专为需要在规模化应用中保持稳定性能和可靠性的 AI 团队而打造。我们在欧洲自有数据中心内负责 GPU、模型和推理服务，你只需专注于自己的构建工作，并按使用的 token 付费。

我们与 Moonshot AI 合作推出这项服务，首个模型是 Kimi K3.1 Pro——在 Artificial Analysis Intelligence Index 上排名最高的开源权重模型。作为 Moonshot AI 的欧洲发布合作伙伴，我们会在其开源权重发布时，将新的 Kimi 模型和版本引入 Verda Inference，服务欧洲及全球的开发者。对于基于开源权重模型构建应用的开发者来说，这意味着从第一天起就能用上 Moonshot 的最新发布，始终可以使用能力最强的模型，保持在技术前沿。

Kimi K3.1 Pro 专为长时间智能体任务打造，而要把这类任务服务好并不容易。一个缓慢或失败的请求就可能让智能体的整个任务脱轨，而会话运行时间越长，携带的上下文就越多。Verda Inference 正是为此而建，针对每一个请求——从单条提示到运行数小时的智能体——都做了性能优化。在长上下文智能体工作负载上，它的首 token 时间比标准缓存快最多 10 倍。* 你的智能体可以回到百万 token 的会话中，在几秒内而非半分钟内继续工作，让长任务更快完成。

*基于使用 Kimi K3.1 Pro 的内部测试，采用一百万 token 的编程智能体上下文，在同一部署上对比卸载上下文与重新计算上下文的表现。

Kimi K3.1 Pro 是 Moonshot AI 全新 K3.1 系列的首个模型，也是其迄今能力最强的 3T 级开源权重模型，拥有 100 万 token 的上下文窗口。它在编程、智能体任务、3D 创作和金融研究方面带来重大改进，最擅长长程编程——智能体需要在许多步骤中规划、构建、测试和修改。在 Moonshot 自家的基准测试中，它在编程、智能体和知识任务上达到或接近最强专有模型的水平。

对于推理而言，快速修复和完整构建是截然不同的任务。前者需要快速的首次响应。后者可能运行数小时，每一步都要重新发送不断增长的上下文，需要随会话增长而保持稳定的性能，以及不会中途失败的请求。Verda Inference 正是为了在同一模型上、同一时间把两者都服务好而构建的。

智能体每一步都会重新发送不断增长的上下文，每个请求常常达到 10 万 token 甚至更多，其中大部分内容与上一步重复。要把它们服务好，光有快速的 GPU 远远不够。最难的两点是：复用这些上下文而不是重新处理，以及防止一个智能体的长提示拖慢其他所有请求。

Verda Inference 只读取上下文一次，然后复用。每个会话的上下文保存在共享缓存中，当你的智能体回来执行下一步时，只处理新增部分。在我们的测试中，缓存复用了智能体再次发送的约 99% 的上下文。你的智能体更快拿到首 token，而且由于缓存输入定价更低，长会话的成本也更低。

当长会话的上下文再也放不进 GPU 显存时，我们将其卸载到更大的内存层级，等智能体回来时再加载回来，而不是从头重新计算。

我们还避免长提示阻塞回答。处理长上下文提示是繁重的工作，如果同一批 GPU 同时还在生成回答，所有人都得等。我们在独立的 GPU 上读取提示和生成回答，并把每个回答发送到最空闲的服务器，因此即使长提示不断到来，输出也能持续流动。

运行我们自己的 GPU，并使用我们为其构建和调优的服务软件，让我们能够修复整个技术栈中任何位置的瓶颈。在六周内，我们的工程团队在相同硬件上让每块 GPU 承载的智能体会话数提升了 16 倍。

*基于 SemiAnalysis 的 AgentX 智能体工作负载测量。提示平均 173,000 token。缓存占比由服务引擎报告。

在模型交付给客户之前，我们会在持续负载下测试它，同时运行许多长上下文智能体会话，并对照响应时间、输出速度和失败率的严格目标。复用已保存的工作不会改变答案：在我们的测试中，从卸载上下文提供的响应与全新计算的结果完全一致。

在生产环境中，我们保护已在运行的会话。当模型达到容量上限时，它停止接新项目，因此已在使用它的项目可以继续运行。而且由于我们同时运营数据中心、GPU 和软件，我们的团队从硬件层向上监控整个技术栈，能够快速修复问题。

我们让 Kimi K3.1 Pro 为我们自己的代码工作。下面是一个会话的逐步展示：一个运行在该模型上的编程智能体对照代码检查了我们某个服务的设计文档。在 11 个步骤中，智能体探索了代码库、阅读了文档，并验证了其中的每一项声明。

当智能体的上下文增长超过 25,000 token 时，首 token 平均仍在大约 150 毫秒内到达。其输入的 92% 由缓存提供。其余是新内容，例如它刚读过的文件，这些始终需要重新处理。在智能体已经发送过的所有内容中，我们的缓存复用了约 99%。*

示例：编程智能体，Kimi K3.1 Pro 在 Verda Inference 上 文档已验证 录制的编程智能体会话，包含 11 次模型调用，以加速节奏回放。上下文从 9.9K 增长到 27.3K token。92% 的输入 token 由缓存提供

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）