AI智能体扩张催生决策模型层，Cloudflare和AWS相继推出专用模型

随着企业努力在AI预算与扩展智能体应用的需求之间取得平衡，它们越来越多地寻找让这些系统更高效的方法，从硬编码确定性决策到为特定任务使用更小的模型。

TypeSafe的Jev上个月发布，引入了另一种选择：使用一个专门的模型来处理位于智能体推理与行动之间的有界决策，从而有可能减少token消耗和推理成本。

上周，Cloudflare和AWS分别推出了各自对这一理念的诠释，即Clef和Strands Decider 2B，这表明决策可能成为企业AI堆栈中的另一个专门层。

Cloudflare通过其Workers AI平台提供的开源Clef和Clef-flash模型，将决策模型概念推向部署阶段，让企业能够在更接近其应用的地方运行轻量级决策模型。

该公司表示，这种部署结构的转变可以通过在本地处理常规决策，而不是将其发送到更大、集中式的模型，来降低延迟和推理成本。

与此同时，AWS通过Strands Decider 2B将Jev的范式扩展到AI智能体的架构中。这个20亿参数的模型旨在处理诸如选择工具、路由任务以及确定智能体工作流中下一步等决策，让更大的模型来处理更复杂的推理。

这家超大规模云厂商表示，这使得决策模型更像是智能体内部的一个控制流组件，实际上充当智能体下一步行动编排者的角色。

使用专用模型可能导致AI堆栈蔓延

然而，分析师和专家表示，决策模型的迅速涌现可能会造成一种新形式的AI堆栈蔓延，企业以更高的架构复杂性换取更低的推理成本。

“随着企业在推理模型、重排序器、嵌入模型、路由器、护栏和其他专用组件之外增加这些决策模型，存在显著的AI堆栈蔓延风险。尽管它会出现在人们意想不到的地方，最可能是在评估和校准方面，”HFS Research的执行研究负责人Ashish Chaturvedi表示。

“每个模型的置信度分数都有其自身含义。来自Clef、Decider和Luna的0.8概率并不反映相同的可靠性水平，因此为一个模型调整的阈值无法迁移到另一个模型。一个更换供应商或运行多个供应商的企业，必须根据自己的数据重新校准每一个阈值，”Chaturvedi解释道。

Chaturvedi补充说，企业还需要解决不断增长的决策模式问题。

“每一个问题、答案集和阈值都编码了一部分业务策略，比如何时需要批准退款，或者什么算作关键事件。随着团队创建数百个这样的模式，它们成为一套新的逻辑体系，需要版本控制、归属权和审查，就像之前的提示词一样。未能治理这些模式的企业最终会在各团队之间产生相互冲突的决策。”

专用模型可能稀释节省效果

超市巨头H-E-B的高级数据工程师Aditya Ranjan表示，这些架构复杂性反过来可能加重CIO的成本和运营负担，有可能抵消这些专用模型本应带来的一部分节省。

“决策模型可能会显著降低推理支出，但如果企业需要额外的工程资源来维护多个模型、管理故障并调查不一致的结果，那么财务收益可能小于预期，”Ranjan说。

Ranjan补充说，更何况企业还必须考虑错误的成本，当错误的决策触发下游行动、最终需要纠正时，这种成本可能比推理本身更昂贵。

因此，这位高级工程师进一步表示，CIO应该使用端到端工作流延迟、每次成功决策的成本、决策准确性、运营开销和故障恢复成本来评估这些架构。

OpenAI的Decisions API可能抽象掉部分复杂性

然而，对CIO来说并不全是坏消息。

OpenAI上周也发布了一款与Jev原理相同的产品，该公司表示它可以抽象掉向企业堆栈添加专用决策模型所带来的一些复杂性。

该公司在一篇博客文章中写道，新的Decisions API可处理文本和图像，将允许开发者定义应用需要做出的决策以及可能的答案，从而返回结构化结果，而不需要开发者从自由形式的模型响应中提取决策。

这意味着开发者不一定需要自己选择、部署或管理一个单独的决策模型，使该API成为一种原语，可以作为应用或智能体工作流的一部分被调用，同时将底层模型对开发者抽象掉。

然而，这种抽象并没有消除企业评估和治理所做决策的需要，包括决定这些决策何时触发下游行动的阈值和业务规则。

Decisions API目前通过OpenAI的API处于公开测试阶段，由GPT-6 Luna提供支持。

与此同时，AWS的Strands Decider 2B作为开源模型发布，可以在本地运行或通过AWS基础设施部署。