
AWS、Upstage 和 Ollama 就决策模型 API 达成一致,OpenAI 尚未加入
来源标题:AWS, Upstage and Ollama agree on a decision-model API. OpenAI hasn’t signed on.
AWS、Upstage 与 Ollama 同意采用统一的决策模型 API 规范,但 OpenAI 尚未签署。该规范基于 TypeSafe AI 的 schema,AWS 于 10 月 1 日发布的 Strands Decider 2B 已使用相同端点 /v1/systemone。此前 OpenAI、Perplexity 和 Cloudflare 也提供托管决策模型。
以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AWS 的新决策模型带着一个熟悉的地址而来。10 月 1 日发布的 Strands Decider 2B 是一个开放权重模型,构建于阿里巴巴的 Qwen3.5 之上。但把它作为服务器运行时,它响应的是 /v1/systemone——这正是两周多前创业公司 TypeSafe AI 随 Jev 一同推出的同一个端点。
三周之内,决策模型从一个创业公司的实验变成了一个品类。OpenAI、Upstage、Perplexity 和 Cloudflare 提供托管决策模型,而 AWS 和独立开发者则在 Hugging Face 上发布了开放权重。标准化最快的,是 TypeSafe 的 schema——即请求和响应的结构——即便供应商们是在自己的 URL 和端点下发布它。
LLM 开发者见过类似的过程。OpenAI 的 Chat Completions API 之所以成为 LLM 的默认接口,是因为太多供应商克隆了它。OpenAI 后来推出了 Open Responses,一个基于其 Responses API 的开放规范。这段历史指向的是一种可能的轨迹,而非已成定局的结果。
决策模型返回什么
决策模型接收应用状态,比如一条客户消息和相关的政策,再加上一组带类型的问题。它返回结构化答案,每个选项附带一个概率,而且从不写散文、代码,或对其推理过程的解释。TypeSafe 把 Jev 称为 System One 模型,借用了心理学家 Daniel Kahneman 推广的术语,指快速、直觉式的判断。
System One API 把每个决策归结为三种问题类型。choice 问题从列表中选择一个选项,score 问题把输入放到一个有序的评分标尺上。noul(是/否)问题返回某个是/否条件成立的概率,开发者可以在一次请求中混合使用这三种类型。
Jev 还返回一个 confidence 值,团队常常把它误认为答案正确的概率。TypeSafe 的文档解释,confidence 衡量的是概率分布的集中程度,并建议团队根据自己的数据设定阈值。校准是在大量决策上衡量的,因此高 confidence 值从不保证单个答案正确。
把决策模型想象成 AI 应用里的 if 语句。LLM 可以给一张支持工单分类,但它是通过生成 token 来做到的,并且对自身确定性的报告很粗略。决策模型则把一个可供应用分支判断的概率交给它,耗时只是前者的一小部分。
让 Jev 在 agent 中有用的三种模式
决策模型与 LLM 并肩工作。LLM 负责规划、写作和调用工具,而决策模型处理 agent 在这些步骤之间做出的众多小判断。
想象一个支持 agent 处理退款请求。LLM 起草一段给客户的平实语言回复。对决策模型的一次调用则选出队列、给客户的挫败程度打分,并估计退款政策是否适用。Jev 发布后几天内就出现了三种模式。
把请求路由到正确的模型
OpenRouter 于 9 月 25 日推出 Jev Router,为每个传入请求选择模型和推理力度。决策模型充当调度员,把昂贵的 LLM 留给真正需要它们的请求。
在执行前对工具调用进行把关
Strands Decider 仓库附带一个示例,挂接到 Strands Agents 的 before_tool_call 事件上。它用两个是/否决策对一个天气工具调用进行把关,使 agent 去问用户是哪个城市,而不是猜测。AWS 报告称,在该模型未见过的短分类任务上,confidence 为 0.9 或更高的答案大约 95% 是正确的。
在决策模型失败时回退
Maxim AI 的 Bifrost 网关在 Jev 不可达时把决策路由到 LLM。它通过该供应商的 Responses API 模拟决策,并以与 Jev 相同的形状返回答案。
这些模式说明了为什么这个抽象层有用。随着竞争者复制它,TypeSafe 的 API 变成了一份共享契约。
System One 契约如何传播
第一类采用者直接实现 TypeSafe 的端点。Upstage 通过 System One schema 提供 Solar Decide,而 Ollama 在 0.35 版本中加入了 /v1/systemone 端点,明确基于 TypeSafe 的 API。Strands Decider、Jared Palmer 的 Kev,以及 Zefan Cai 社区构建的 Open-Jev 暴露相同的接口,Ollaya 和 SGLang 等本地运行时也是如此。
第二类采用者保留语义,改变地址。OpenRouter 为 Jev 提供的原生接口是它自己的 Decisions API。它还提供一条与 TypeSafe 兼容的路由,因此现有的 SDK 客户端只需更改基础 URL 就能切换供应商。据报道,Venice 通过它自己的一个 beta decisions 端点提供 Jev。Perplexity 的 Decisions API 支持相同的 choice、noul(是/否)和 score 问题类型,尽管它使用不同的路径。
OpenAI 在大厂中仍是异类。它在 DevDay 上用一个基于 GPT-6 Luna 专门版本构建的 Decisions API 回应了 Jev。该服务仍处于有限预览阶段,没有公开 schema 或定价。
实际结果是代码层面的可移植性。只要更改基础 URL,TypeSafe 的 SDK 就能对任何实现 System One API 的服务器工作。因此,针对该契约编写的应用可以从托管的 Jev 迁移到本地的 Strands Decider,而无需重写其决策逻辑。各服务器在选项上限、confidence 的计算方式以及答案质量上仍有差异,所以切换仍需测试。
简而言之,TypeSafe 正在赢得 schema 之战,而端点之战仍未尘埃落定。
Chat Completions 的先例说明了什么
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。