返回资讯中心
外部精选
软件工程
#开发者实时流

Mubit 与 Neon 推出可将前沿模型 token 消耗降低 73% 的 AI 代理

来源标题:Show HN: Neon and Mubit: an agent that cuts its own frontier-model tokens by 73%

Mubit 与 Neon 联合发布了一个 AI 代理模板,能将前沿模型 token 消耗削减 73%。该代理运行在 Neon Functions 和 Lakebase Postgres 上,所有模型调用经 Mubit 转发至 Neon AI Gateway,由微调后的小模型接管常规步骤,前沿模型只处理困难任务。示例工作负载为基于 Postgres 回答业务问题的数据分析代理,该方案适用于任何通过 AI Gateway 调用前沿模型的 Neon 代理。

Hacker News 最新aperi2026/11/12 · 5 天前24 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

返回博客/社区 Mubit + Neon AI Gateway:一个将自身前沿模型 token 削减 73% 的 agent 一个运行在 Neon Functions、Lakebase Postgres 和 AI Gateway 上的 agent,将日常步骤交给一个小模型处理,该模型基于它自身的流量进行调优 只接收我们的最新动态。保证无垃圾邮件。

Mubit 是面向 AI agent 的中间件。它位于你的 agent 与模型之间,只需更改一行 endpoint 即可接入,从每次调用中学习,并将重复性步骤转移到基于你自身流量调优的小模型上,而前沿模型则继续处理困难的任务。无需额外托管任何东西。

为了展示它与 Neon 配合的效果,他们构建了一个用于削减前沿模型 token 支出的模板——一个运行在 Neon Functions 和 Lakebase Postgres 上的 agent,将每次模型调用都通过 Mubit 发送到 Neon AI Gateway。示例工作负载是一个数据分析 agent,负责在 Postgres 上回答业务问题,但该设置适用于任何在 Neon 上通过 AI Gateway 调用前沿模型的 agent: https://github.com/MubitLabs/mubit-neon-db-agent

一旦 Mubit 为日常步骤调优好一个小模型,它就会自行处理这些步骤,而来自已验证运行的经验能帮助 agent 避免重复犯错。在示例工作负载中,使用 Mubit 将 agent 的 gpt-5.5 token 削减了 73%,速度提升了 40%,且没有损失准确性。

“Neon 在一个地方为 agent 提供了数据库和模型 endpoint。Mubit 位于两者之间,从每次调用中学习,因此 Neon 上的 agent 运行得越多,就越便宜、越可靠”—— Anil Peri,Mubit 首席执行官

“我们构建 AI Gateway,是为了让 Neon 上的 agent 能通过一个 endpoint 调用前沿模型。Mubit 是一个很好的例子,展示了你可以放在它前面的东西。agent 将重复性的工作交给小模型,当你的 schema 发生变化时,它会丢弃过时的内容并自行找出新的表”—— Bryan Clark,Databricks 产品负责人

团队通常在前沿模型上构建 agent,并将每次调用都发送给它。从 token 角度看,这相当低效——成本和延迟随着每一步增长,而其中很多步骤都是例行公事——你最终为不需要前沿模型的工作支付了前沿模型的价格。

Mubit 用模板的示例 agent 测量了这一点。在他们的基准测试中,仅 gpt-5.5 回答一个问题就需要约 10 次模型调用、21.7k gpt-5.5 输入 token 和 26 秒。其中大多数调用都是机械性的,比如列出表、读取表定义,以及撰写查询已经找到的答案。只有 SQL 步骤才真正需要前沿模型。

Agent 也不会记住它们学到的东西。每个问题都会开启一段新的对话,因此 agent 会从头重新弄清楚 schema,并可能重复一小时前犯过的错误,比如在汇总之前先将退款与订单连接起来。

Schema 变更会让情况更糟。在模板的演示数据中,一次迁移将退款移入它们自己的表——agent 必须重新发现收入是如何计算的,而为旧 schema 编写的任何注释现在都指向了不再存在的列。在 Mubit 的基准测试中(其中也包含一次 schema 变更),仅 gpt-5.5 在变更后的 schema 上 30 次运行中只正确了 7 次。

Neon AI Gateway 为 Neon 项目提供一个兼容 OpenAI 的 endpoint,用于访问来自众多提供商的模型,费用计入 Neon 账户。Mubit 位于 agent 与该 endpoint 之间。

作为人类开发者,你会将 AI Gateway token 一次性存储在 Mubit 项目中,作为该项目的唯一提供商密钥。然后 agent 保留其 OpenAI SDK,只需更改两项设置: import OpenAI from "openai"; const openai = new OpenAI({ apiKey: process.env.MUBIT_API_KEY, baseURL: "https://api.mubit.ai/openai/v1", }); 从那时起,在调优后的模型接管某个步骤之前,每次调用都会通过 Mubit 发送到 Neon AI Gateway 并原样返回。Mubit 在答案发送后记录一份副本,因此记录不会增加延迟。这是你可以应用于任何在 Neon 上通过 AI Gateway 调用前沿模型的 agent 的部分。

Mubit 通过为 agent 做两件事来解决上述问题:它将日常步骤转移到一个小型调优模型上,并帮助 agent 记住哪些做法有效。

为了说明其工作原理,以模板的示例 agent 为例,想象我们问它这个问题:“2026 年 8 月按国家划分的净收入是多少?”

仅用 gpt-5.5 回答这个问题,agent 需要进行约 10 次模型调用。它列出表、读取一些表定义、编写并运行 SQL,然后撰写答案。Mubit 记录每次调用,并将具有相同指令、工具和输出格式的调用归为一个任务。模板的 agent 始终使用相同的指令和工具,因此它回答的每个问题都会为同一个任务增加示例。

一旦任务拥有至少 25 条良好回复,再加上足够用于考试的数量,Mubit 就会基于这些回复训练一个小型开放权重模型。训练作业的中位耗时约为 7 分钟。在调优后的模型提供任何服务之前,它必须通过一场基于该任务自身流量构建的考试。Mubit 会保留整段对话不用于训练,并将调优模型的回复与 gpt-5.5 的回复进行对比。

即使通过考试,调优后的模型也是分阶段获得实时流量的: 在晋升之后,Mubit 会持续将一部分调用样本与 gpt-5.5 进行对比。如果质量下降,调优后的模型会被降级,调用将回到 AI Gateway。第一个调优版本通常会在任务收集到第 25 条良好回复后的 15 到 30 分钟内准备就绪。

在模板的 agent 中,调优后的模型承担日常步骤:列出表、读取表定义和撰写答案。 gpt-5.5 仍然编写每一条 SQL 查询,这是有意为之:Mubit 只移交小模型已证明能够完成的步骤。在 Mubit 的测试中,调优后的模型在列出表和最终答案上与 gpt-5.5 每次都匹配,但它自己编写的 SQL 只有 8% 到 10% 的情况下得到相同结果,因此 SQL 仍由前沿模型处理。运行整个 agent 的 4B 到 32B 开放模型最多解决了 30% 的问题,而 gpt-5.5 为 60%。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →