返回资讯中心
外部精选
ai-models
#研究进展#模型发布#Agentic AI#AI Infrastructure#AI Shorts#Applications

Sarvam 推出 Token Factory,在印度托管 8 个开源模型的推理服务

来源标题:Sarvam Launches Sarvam Token Factory: Bringing India-Hosted Inference to 8 Open Models

Sarvam 向所有开发者开放 Sarvam Token Factory,通过一个 OpenAI 兼容 API 提供 8 个模型的推理服务,算力来自印度本地的 NVIDIA B200 集群。上线模型包括 Sarvam 105B、GLM 5.3、DeepSeek V4.1 Flash、Kimi K3.1 Pro 和 Gemma 4 31B,印度团队可避免将流量发往海外云。Sarvam 称在多数测试场景下从孟买访问的首 token 延迟最快,并为企业提供本地部署选项。

MarkTechPostAsif Razzaq2026/11/17 · 今天13 分钟阅读

以下正文由 AI 翻译自 MarkTechPost(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Sarvam 已向所有人开放 Sarvam Token Factory。Sarvam Token Factory 是 Sarvam 推出的推理平台,通过印度的 GPU 集群提供自家模型和开放权重模型的服务。开发者通过一个兼容 OpenAI 的 API 即可访问所有模型。对印度本土团队而言,这意味着无需将流量发送到海外云,就能获得低延迟的 token。你可以通过我们的 GPULeaderboard.com Chrome 扩展查看部署选项和规格。

摘要

  • 规模:发布时列出 8 个模型,包括 Sarvam 105B(总参数 105B,激活参数 9B,128K 上下文)、GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro 和 Gemma 4 31B。
  • 运行环境:印度的 NVIDIA B200 集群。Sarvam 105B 现在每个副本仅需 1 块 B200。面向企业提供本地部署方案。
  • 性能:根据 Sarvam 自己的测量,在大多数测试用例中,从孟买发出的首 token 延迟最快。
  • 最佳表现:Kimi K3.1 Pro 每 GPU 每秒 6,177 个 token,而 InferenceX 为 3,213 个,在每用户每秒 70 个 token 下达到 1.9 倍。

什么是 Sarvam Token Factory?

它是一套托管推理栈,而非单个模型。Sarvam 最初在 Epoch 活动上以 Sarvam Inference 的名义预览了它。发布文章列出了 8 个模型:Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro 和 Gemma 4 31B。 文档将它们分为两组。按需付费模型运行在共享端点上。DeepSeek V4 Pro、Kimi K3.1 Pro、Qwen 3.8 27B、Clef 和 EmbeddingGemma 2 需要按组织启用 Provisioned Throughput。

它如何工作?

该栈围绕共享缓存分为 3 层:

  • 控制平面:具备缓存感知的路由器、准入控制和规划器。
  • 推理引擎:prefill 和 decode 使用独立的 GPU 池。
  • 缓存:GPU 内存加上基于 Mooncake 构建的共享 G3 存储。 它构建在 vLLM、SGLang、Dynamo、Mooncake、NIXL、DeepEP、DeepGEMM 和 FlashInfer 之上。一个编排 agent 提出实验方案,由工程师批准每次部署。 缓存带来了大部分收益。DeepSeek V4.1 Flash 每天处理 450B+ token,其中 95.7% 的 prompt token 由缓存提供。在 GLM 5.3 上,规划器在相同的重放负载下将 prefill GPU 小时数从 32.3 降至 17.1。 对于 Sarvam 105B,MXFP8 权重加上投机解码将输出吞吐量提升了约 2.2 倍。这使每个副本从 2 块 B200 降至 1 块。Sarvam 表示这些改动均未降低准确率。

它有多快?基准测试

以下所有数字均来自 Sarvam 的发布文章,为自报数据。

  • Sarvam 105B:单用户首 token 0.2 秒,每秒 330 个 token。
  • Gemma 4 31B(10K prompt,孟买):首 token 0.40 秒,每秒 308 个 token,而唯一另一家提供商为 2.00 秒和每秒 193 个 token。
  • Kimi K3.1 Pro(16 块 B200):每 GPU 每秒 6,177 个 token,对比 InferenceX 的 3,213 个,在每用户每秒 70 个 token 下。
  • 重度 agent 负载(72 个会话):首 token 中位数 0.8 秒,而 InferenceX 为 11.6 秒。
  • GLM 5.3 Flash(64 个会话):首 token p99 为 3.2 秒,而原生 vLLM 和 Dynamo 为 14.1 秒。 这些结果并非全面领先。在 10K prompt 的 DeepSeek V4.1 Flash 上,Together 的首 token 为 0.71 秒,而 Sarvam 为 0.90 秒。Together 的流式输出也更快,为每秒 278 个 token,而 Sarvam Standard 为每秒 130 个。

价格如何?

根据文档,价格以每 100 万 token 的印度卢比计: 模型输入 / 输出(₹ 每 100 万 token) Sarvam 105B₹10 / ₹25( introductory) GLM 5.3₹126 / ₹390 GLM 5.3 Flash₹13.5 / ₹45 Gemma 4 31B₹35 / ₹90 DeepSeek V4.1 Flash 1017₹14 / ₹55(introductory) introductory 定价持续到 2026 年底。更快的 DeepSeek Interactive 端点价格为输入 ₹25、输出 ₹105。Provisioned 模型费率未在文档页面上公布。

与其他推理提供商相比如何?

指标Sarvam Token FactoryTogether AIFireworks AIDeepInfra 服务位置印度 GPU 集群未披露未披露未披露 兼容 OpenAI 的 API是是是是 第一方 LLMSarvam 105B未披露未披露未披露 本地部署选项是否否否 DeepSeek V4.1 Flash 1017 价格(每 100 万输入 / 输出)₹14 / ₹55$0.30 / $1.20$0.30 / $1.20$0.20 / $0.60(标价);$0.14 / $0.42(促销) 缓存输入(每 100 万)未披露$0.006$0.006$0.006 孟买首 token 延迟,1K prompt(Sarvam 测量)0.51 秒0.61 秒1.01 秒1.08 秒 孟买首 token 延迟,10K prompt(Sarvam 测量)0.90 秒0.71 秒1.55 秒1.75 秒 输出速度(Sarvam 测量)130 tok/s(Standard),200(Interactive)278 tok/s193 tok/s未披露

关键要点

  • Sarvam Token Factory 通过一个兼容 OpenAI 的 API 从印度提供 Sarvam 及开放权重模型的服务。
  • Sarvam 105B 起价为每 100 万 token 输入 ₹10、输出 ₹25。
  • Sarvam 报告在 Kimi K3.1 Pro 上每 GPU 吞吐量比 InferenceX 高 1.9 倍。
  • Together 在 DeepSeek V4.1 Flash 的流式速度上仍胜出。
  • 所有基准数字均为自报。 查看技术博客、API 文档以及 X 上的发布文章。你可以通过我们的 GPULeaderboard.com Chrome 扩展查看部署选项和规格。 另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。 需要与我们合作推广你的 GitHub Repo 或 Hugging Face 页面或产品发布或网络研讨会等?联系我们 文章《Sarvam Launches Sarvam Token Factory: Bringing India-Hosted Inference to 8 Open Models》首发于 MarkTechPost。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →