返回资讯中心
外部精选
软件工程
#开发者实时流

Hugging Face与OpenRouter合作,简化开放权重模型运行

来源标题:Hugging Face and OpenRouter join forces to make open-weight models easy to run

Hugging Face与OpenRouter宣布合作,让用户可用Hugging Face token通过同一API调用Hub上由服务商提供的开放权重模型。OpenRouter会基于对80多家提供商的实时测量,为每次请求选择最优服务商。该合作旨在让开放权重模型更易于使用。

Hacker News 最新acossta2026/11/16 · 昨天16 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Hugging Face 与 OpenRouter 联手,让开放权重模型轻松运行

返回文章

Hugging Face 与 OpenRouter 联手,让开放权重模型轻松运行

发布于

2026年11月16日

在 GitHub 上更新

点赞 6

Célina Hanouti celinah 关注

Victor Mustar victor 关注

Bertrand Chevrier kramp 关注

Lucain Pouget Wauplin 关注

Pierric Cistac pierric 关注

Eliott Coyac coyotte508 关注

Julien Chaumond julien-c 关注

用你已经在用的工具运行它们

开放权重模型的使用情况

由 OpenRouter 提供支持的路由

定价

图像、视频和音频生成

查看你的请求去向

破坏性变更:自定义提供商密钥

下一步

Hugging Face 与 OpenRouter 正在合作,让开放权重模型轻松运行。每一个重要的开放权重模型发布时都已经在 Hugging Face Hub 上发布,而 OpenRouter 则大规模地提供这些模型的服务,基于对 80 多家提供商的实时测量,将每个请求路由到合适的提供商。现在,Hub 上由提供商服务的每一个开放权重模型,都可以用你的 Hugging Face token 通过同一个 API 调用,并为每个请求挑选最佳提供商。

今天,我们正在将 Inference Providers 从我们自研的路由器切换到 OpenRouter 的路由器。发往语言模型的请求现在会经过 OpenRouter,它基于实时价格、速度和可靠性为每次调用挑选最佳提供商,如果第一个提供商失败,则会在另一个提供商上重试。你的代码保持不变。

用你已经在用的工具运行它们

该路由器为所有聊天模型支持 OpenAI 的 Chat Completions 和 Responses API 以及 Anthropic 的 Messages API,无论其背后的提供商是谁。选择你的编码代理或 SDK 以及一个模型,然后复制步骤,或将整个设置作为提示词复制给你的代理:

Claude Code、Codex、OpenCode、Pi 和 Hermes Agent 的设置指南

同一个 Hugging Face token 还能为你提供 Storage Buckets 存储、Jobs 计算以及 Inference Endpoints 专用推理。PRO、Team 和 Enterprise 套餐包含每月用于计算和推理的额度。

开放权重模型的使用情况

在 OpenRouter 上,开放权重模型所占的 token 份额从 2025 年 10 月的 26.8% 增长到 2026 年 9 月底的 71.7%,并在 7 月达到 77.5% 的峰值(OpenRouter,2026 年 10 月)。同期,开放权重的周用量增长了 60 多倍,而闭源模型增长了近十倍。本周,OpenRouter 上使用最多的模型是一个开放权重模型 DeepSeek V4.1 Flash 1017,达到 59.2 万亿 token(排名)。

开放权重模型的平均成本约为后者的四分之一:每百万输入 token 0.28 美元、每百万输出 token 1.62 美元,而闭源模型分别为 1.27 美元和 6.36 美元。

在最难的基准测试上,最好的开放权重模型仍落后于最好的专有模型。在 Artificial Analysis Intelligence Index 上,最好的开放权重模型 Kimi K3.1 Pro 得分为 46,而 Claude Fable 5.2 为 65,但每个任务的成本约为其七分之一(3.68 美元对 26.54 美元)。对许多工作负载来说,这种取舍是值得的。

由 OpenRouter 提供支持的路由

OpenRouter 每月向超过 1000 万用户提供超过 800 万亿 token,涵盖来自 80 多家提供商的 600 多个模型。其路由基于对所有这些流量中每个提供商的实时测量。

OpenRouter 最近重建了其提供商路由:它不再只关注最低标价,而是将每个请求发送到价格、速度和可靠性综合表现最佳的提供商。

当某个提供商变慢或开始出现故障时,流量会从它那里转移开,直到它恢复,而一次失败的尝试会在同一次调用中在下一个最佳提供商上重试。根据 OpenRouter 的测量,新的路由将容量错误减少了 46%,并将首个 token 时间改善了 16.9%、吞吐量改善了 16.3%。

以前,Inference Providers 会为你的请求挑选一个提供商,如果失败则返回其错误。现在,请求会在另一个提供商上重试。你仍然可以通过在模型 id 后加后缀来选择策略或提供商:

zai-org/GLM-5.3 # 默认:价格、速度和可靠性的最佳组合 zai-org/GLM-5.3:fastest # 最高吞吐量 zai-org/GLM-5.3:cheapest # 最低价格 zai-org/GLM-5.3:novita # 仅限 Novita

路由还是缓存感知的:对话会留在持有其提示缓存的提供商上。为了明确这一点,请在 X-HF-Session-Id 请求头中为每个对话发送一个稳定的 UUID(参见提示缓存指南)。

定价

定价不变:你按提供商的价格在你的 Hugging Face 账单上付费,Hugging Face 不会在此基础上加价。PRO 用户每月获得 2 美元额度,Team 和 Enterprise 组织每个席位获得 2 美元。详情请参阅定价与计费。

图像、视频和音频生成

图像、视频和音频生成继续完全像以前一样工作,直接通过 Hugging Face Inference Providers 进行,不经过 OpenRouter。你可以继续使用相同的 token 和 API,并访问数万个 LoRA。

查看你的请求去向

在模型页面上,你可以直接在小组件中与该模型聊天。两个新标签页展示了其背后的情况:Providers 列出了 OpenRouter 可以将该模型路由到的每一个提供商,以及其输入和输出价格、过去 24 小时的速度和正常运行时间;Metrics 则展示了其中最佳的价格、吞吐量、首个 token 时间、上下文长度和正常运行时间:

你的用量概览会按每个请求所发往的提供商来细分你的支出:

在你的设置中,你可以关闭任何你不想要的提供商:路由器永远不会将你的请求发送到那里。组织也有相同的设置,并且它们适用于向该组织计费的每一个请求。

破坏性变更:自定义提供商密钥

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →