Amazon用Strands Decider替换Sonnet 4.6，年省数百万美元

All posts2026年11月9日5分钟阅读 Amazon通过用Strands Decider替换Sonnet 4.6节省数百万美元 两位Amazon工程师在全球最大的内部工单系统之一中，将Claude Sonnet 4.6替换为一种决策模型。 有一段时间，Amazon和AWS团队依赖Claude Sonnet 4.6在内部系统中为工单打标签，同时又不至于成本过高。 Sonnet 4.6在智能与成本之间取得了恰到好处的平衡，是理想之选。考虑到它要处理的是全球最大的内部工单系统之一，这个已有九个月历史的模型表现相当不错。然而，两位Amazon工程师最近将Sonnet 4.6替换为Strands Decider——我们一个月前推出的决策模型——其表现同样出色，成本却降低了98%。这一改动每年将节省数百万美元的token成本。 负责该内部工单系统的Carr和Mehul在下面详细讲述了这一过程。 我们曾用Sonnet 4.6以极大规模为工单打标签。这些工单可能是客户升级、容量请求、自动告警、安全发现，或公司内部任何需要归入20个类别类型之一的其他事项。该agent对每张工单都使用一段很长的system prompt运行，生成JSON并针对固定标签集进行推理。 决策模型不能生成文本。它首先接收某种状态和一个带有若干选项的问题，然后为每个选项返回一个概率以及一个置信度分数。我们发现这种方法与工单打标签完美契合：状态就是工单，选项就是标签目录。 我们从最初的Strands Decider 2B开始。在一组测试工单上，E4B Gemma 4构建取得了明显更好的结果，于是我们切换到了它。之后，我们调整了模型在应用标签之前需要达到的置信度。结果显示，E4B在我们另一组工单上击败了生产环境中的Sonnet。 我们在SageMaker ml.g5.xlarge实例（每台一个A10G，24 GB）上运行E4B。模型占用约19 GiB，单台实例上一个请求耗时约640 ms。该endpoint会根据流量自动扩缩容，但其网络是隔离的，阻止容器对外访问。SageMaker在启动前从S3复制模型权重。 客户也可以这样做！除了我们的工单API之外，整条路径上的所有组件都是标准AWS服务。工单事件进入SQS队列，进而触发Lambda函数。该函数读取工单数据并调用模型——一个搭载Strands Decider的SageMaker AI Endpoint。AppConfig保存开关（见下文），CloudWatch负责日志、指标和告警。整个栈用CDK定义，并设有Beta、Gamma和Prod部署阶段。 我们不想只是拨动开关然后听天由命。打标签的Lambda对每条消息都会从AWS AppConfig读取一个三向设置： token量的下降有两个来源。Strands Decider只产生一个输出——选择结果，而不是JSON答案。它的prompt也比Sonnet 4.6短得多。仅生产环境的标签描述就比Strands Decider的4,096 token窗口更长，因此我们将20个标签各自改写为一两句标准，作为单选题的选项发送，另加一个“none”选项。工单数据与Sonnet所获相同，只是在长工单上，Strands Decider会丢弃最旧的评论以适配窗口。 下图是我们关闭Sonnet使用当天Lambda的耗时曲线，显示Lambda平均执行时长下降了74%。 Sonnet每张工单的成本直接来自上面的token计数。Strands Decider的成本则取决于每台实例的繁忙程度。按每个请求约640 ms计算，一台实例每小时可处理约5,600张工单，满负荷使用时相当于每百万张工单250美元。我们为突发流量保留了余量，实际约为每百万张500美元。这比Sonnet便宜约44倍，降幅98%。 以上均为公开标价。其中未计入Lambda，而它现在每张工单的运行时间也更短了。 有一件事让我们感到意外：JSON键的顺序会改变答案。相同内容以不同键顺序发送，输出概率最多变化0.19。我们现在发送每个请求时都对键排序，所以如果你在API后面提供决策模型服务，在比较不同运行结果之前务必检查这一点。 这一方案之所以可行，是因为任务是从已知目录中做封闭选择、量很大，而且旧路径的延迟很重要。如果你的标签需要解释文本、目录每周变化，或者你无法将有用的上下文放进几千个token之内，那么决策模型可能无法替代LLM的工作。 无论用什么模型，我们都会照搬的是那个三向开关。让两者同时跑真实流量，然后逐一评判每个分歧，这比任何离线评估都能告诉我们更多。这也意味着回滚只是一次45秒的配置更改。 有了决策模型，agent的世界变得令人兴奋得多（成本也低得多）。如果你在运行分类agent，试试Strands Decider仓库及其服务说明。