
Tesseracted Labs 让编码智能体稍等片刻,推理成本降低超 50%
来源标题:Waiting a little saves us over 50% on inference
Tesseracted Labs 发现,让编码智能体在推理时多等一会儿、改用折扣 flex 推理,可节省超过 50% 的成本。该团队通过 pi 扩展自动发现可用模型并默认使用 flex 推理,还公开了 GitHub 仓库展示相关代码示例。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
非常感谢 @pidotdev 和 @Doubleword_ 打造了如此出色的工具。Pi 的可扩展性与 Doubleword 的推理选项,让这类实验成为可能。
在 Tesseracted Labs,我们一段时间以来一直在用一组模型组合来运行编码智能体,其中很多模型都是通过 Doubleword 提供的。我们的 pi 扩展会自动发现可用模型、保持价格信息最新,并默认使用有折扣的 flex 推理。它已经成为我们工作方式的一部分。为撰写本文,我们新建了一个公开的 GitHub 仓库,里面收录了精选代码片段和可运行的示例,展示我们是如何做到这一点的。我们日常的工作流遵循同样的思路,但更为复杂;该仓库是本文的配套材料,而非我们生产环境的完整副本。
两个例子足以说明问题。第一个始于一个简单的问题:如果智能体可以多等一会儿再给出答案,究竟能省下多少钱?第二个则出乎意料:我们的智能体在成功回答问题,却没有遵循收到的一些指令。
对于第一个例子,我在同一模型上对 realtime 和 flex 做了一次小规模的受控对比。Flex 公布的单 token 费率低 24–27%,每一对匹配请求的预估成本都更低,端到端响应时间的中位数增加不到半秒。这些测量只是一个快照,并不代表所有工作负载或所有时段都是如此。[4]
第二个例子来自对智能体自身技能回答不一致问题的诊断。请求都成功了,但通过 developer 角色发送的指令没有被被测模型遵循。一次直接探测帮助定位了该行为,并引出了一行客户端侧的修复。[5]
配套仓库包含示例扩展、安装指南,以及用于复现本文所讨论测试的脚本。[1][2]
Pi 可以接入任何 OpenAI 兼容的提供商,但它并不了解 Doubleword 的模型目录,而我也不打算在目录不断变动的情况下手工维护一份价目表。于是我写了一个扩展——一个 TypeScript 文件,约 600 行,无依赖——其核心部分用一个代码块就能说清。目录中的每一条记录都会变成一个 pi 模型定义,折扣和(剧透一下)那个 bug 都藏在这里:[1] [3] return { type: "chat", id, name, reasoning: true, // every model here takes reasoning_effort input: visionCapable(raw, id) ? ["text", "image"] : ["text"], compat: { supportsDeveloperRole: false }, cost: costFor(raw, mode), // per-request cost from the live tariff table samplingParams: mode === "async" ? { service_tier: "flex" } : undefined, contextWindow, maxTokens, }; 该扩展在启动时请求 GET /v1/models?include=pricing,对 Doubleword 按层级划分的费率记录进行排序(flex 层以一种奇怪但有文档记载的方式,把自己标称为完成窗口为一小时的批处理费率),将它们映射到 pi 的成本字段,并默认给每个请求打上 flex 层标记。切换到标准层只需一条命令:/doubleword-mode realtime;通过环境变量可将其设为全局默认。还有两处管道机制值得注意:refreshModels 向 pi 提供一个回调,使 pi 自身可以重新拉取目录(比如在 /login 之后),并拿回同样映射后的模型——如果目录不可达,扩展会完全省略其模型列表,从而让手工维护的备用模型得以保留;并且在任何刷新之后,它会重新注册并重新绑定当前会话的模型,使价格和层级的变化在对话进行中即时生效:[2] [3] refreshModels: async (context) => { /* fetch + map, or undefined to keep the last catalogue */ }, // ...after a refresh: const fresh = ctx.modelRegistry.find("doubleword", ctx.model.id); if (fresh) await pi.setModel(fresh); 完整的代码清单——凭证处理、费率解析、会话启动时的恢复路径——都在配套指南中。纸面上看,这套方案已经完备。而审计恰恰来自纸面。[2]
先讲方法,因为这些数字理应带上相应的注意事项。同一个提示词、同一个模型(zai-org/GLM-5.3-Flash),分别通过两个层级发送,各轮次交错进行,以免时段偏袒任何一方,每个层级五轮,采用流式传输并记录 token 用量。请求成本为估算值:观测到的 token 数量乘以 Doubleword 公布的分层费率——这只是对价目表的陈述,而非对 Doubleword 计费系统的陈述;拿实际账单核对真实扣费,是一项我还没做的月末工作。三件不同的事可以在不同强度上同时成立:公布的折扣、预估的请求成本、以及最终结算的账单。前两项我可以担保。[4]
根据观测用量 × 公布费率估算,未与账单核对。相同的提示词引出的推理预算差异极大(211–1,992 token),因此按请求取中位数噪声很大;稳定的信号是公布的费率差距(输入 −27% / 输出 −24%),以及在每一对匹配请求中 flex 的预估成本都更低。*
有两个结果值得单独拿出来说。第一,公布的折扣在估算层面是真实的:每个 flex 请求的定价都比其 realtime 对应请求低 24–27%。(完全披露我的先验:我原本有一半预期是队列会慢到把折扣吃掉。)第二——也是商业上有意思的部分,正因如此它值得配一张表而不是一句话带过——所有延迟代价都发生在首个 token 之前,而到最后一个 token 时几乎不剩多少。首个 token 中位数:0.17 秒 vs 4.84 秒。最后一个 token 中位数:4.48 秒 vs 4.84 秒,相差约 8%。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。