
Stripe 发布评估基准,衡量编码智能体真实开发表现
来源标题:Stripe evals: Measuring real-world coding agent performance
Stripe 推出名为 Stripe evals 的评估基准,用于衡量编码智能体在真实 Stripe 集成任务中的表现。Stripe 发现编码智能体倾向于使用预训练语料中更常见的旧版 API、遗漏关键功能并产生幻觉,而现有编码基准只检查代码能否通过确定性测试,无法发现 API 集成是否正确。Stripe 希望借此让开发者了解智能体当前的不足。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
[B] Blog[E] Events[D] Docs[O] OpenRouter Tutorials[Y] Youtube[G] Github[M] Meetups[U] Community Stripe evals:衡量真实场景下编码智能体的表现 /Metadata Date:2026.11.19 Authors:Kiran PrasadYiing Chau MakManish Kurse Reading time:13 min read Categories:AIAI ResearchAnnouncementsMachine LearningTesting Agents:Copy for LLMView as Markdown Share:Twitter/XLinkedIn /Article 集成方式的选择会影响企业从 Stripe 获得的价值大小。选用现行的集成模式,可以帮助企业以更少的自定义代码用上新的能力,并减少未来的迁移工作。把集成做好,还意味着要妥善处理支付失败、订阅变更和 webhook 事件。 在开发者用编码智能体构建应用的过程中,我们观察到:智能体倾向于使用在其预训练语料中更常见的旧版 API,会漏掉关键功能,还会产生幻觉。现有的编码基准测试捕捉不到这些问题:它们只检查代码能否通过确定性检查,而不检查 API 集成是否正确。我们希望用智能体构建应用的开发者从一开始就采用最佳的 Stripe 配置,而这首先要看清智能体目前在哪里做得不够好。为此我们构建了 Stripe evals,用来衡量这一点,并找出把智能体引导向更好集成的方法,比如通过 Stripe agent plugin 这样的能力。 Stripe evals 衡量的是:在由角色扮演智能体驱动的、贴近真实且描述清晰的场景中,编码智能体能多好地构建高质量集成。我们跑了 69 个场景,覆盖一次性支付、订阅和 Connect(市场平台与平台方),在 14 组模型与 harness 组合上分别测试了使用和不使用 Stripe agent plugin 的情况。这些场景包括构建托管结账页、实现按用量计费、管理按席位订阅、拆分市场平台支付等任务。 插件确实有帮助。全部 14 个编码智能体在使用插件后得分都有提升,幅度大约为 3 到 8 个百分点;同时由于模型依赖可信的指引,网页搜索量下降了 96%。不同模型的表现也各不相同:Fable 5.1 在使用插件后工具调用次数增加了 53%,而 Gemini 3.8 Flash 则减少了 26%。虽然总体数字看起来很高,但如果采用严格通过率——即要求所有必要标准都通过——所有智能体的平均得分会从 78.1% 降到 29.4%。 我们同时发布 Stripe 基准测试和 eval 框架。我们会维护这套 eval harness,并持续用新的模型、用例和功能更新结果。 以下结果基于我们的 69 个公开用例(19 个 Connect、24 个支付、26 个订阅),每个用例运行 2 次,对编码智能体进行评估。 *这是对 Payments、Connect 和 Subscriptions 用例的汇总,这几类用例的模型表现存在差异,因此跨模型比较应结合表 3 来看。 在我们的 evals 中,全部 14 组模型与 harness 组合在使用插件后得分都更高,整体提升大约 3 到 8 个百分点。插件还把 API 调用中过时参数的引用比例从 7% 降到 1.3%。例如,在不使用插件时,GPT 6.1 Sol 在 payments-mobile-physical-goods 场景中使用了近期已被移除的参数 payment_method_types: ['card'];而使用插件后,模型会写出正确的 automatic_payment_methods: { enabled: true },从而启用 Dynamic Payment Methods。 使用插件后,编码智能体编写的测试代码行数减少了约 40%,运行测试的 eval 占比为 42%,而不使用插件时为 53%。这并不意味着测试变少提升了表现,而是插件提供的更权威信息减少了对所写代码进行过度检查的需要。 每次 eval 的网页搜索次数:无插件 → 有插件 每次 eval 的页面抓取次数:无插件 → 有插件 每次 eval 的工具调用总次数:无插件 → 有插件 *OpenCode 通过 OpenRouter 进行网页搜索,我们无法直接观测。 插件包含 MCP 工具调用(如文档搜索、实现规划器)和 skills。总体来看,插件使每次 eval 的网页搜索需求减少约 1.2 次。网页抓取(智能体从 URL 拉取网页内容的方式)也每次 eval 减少约 3 次。 但并非每个模型的表现都一样。有意思的是,Argon 和 Grok 在使用插件时抓取反而更多。它们倾向于抓取工具结果或 skills 中引用的特定页面。 为了衡量一个集成是否满足高质量所需的全部关键要求,我们还报告了必要标准的严格通过率(详情见下文的评分与报告部分)。在这份报告中,同样的必要标准下,模型平均表现从 78.1% 骤降至 29.4%。这表明许多模型构建出的实现几乎正确,却卡在最后一公里。例如,在 payments-radar-review-fulfillment 场景中,Opus 5.5 没有检查订单是否符合履约条件,只检查了 PaymentIntent.status === 'succeeded',这可能导致订单在退款或拒付之后仍然发货。 *智能体在不同场景类别(一次性支付、订阅和 Connect)中的表现存在显著差异。在一次性支付和订阅上得分较高的编码智能体,在 Connect 上并非得分最高。涉及更多场景特定集成决策的 Connect 场景,相比其他类别从插件使用中获得的提升更大。 我们选择了三种编码 harness:Claude Code、Codex 和 OpenCode,以及包括开放权重模型在内的一组抽样模型。 Stripe agent plugin 为编码智能体提供由 Stripe 编写的 skills,并通过我们的 Model Context Protocol(MCP)服务器访问工具。Skills 提供集成最佳实践,而 stripe_implementation_planner 和 search_stripe_documentation 等工具则提供实现指引和最新文档。API 搜索与详情工具帮助智能体查询支持的操作和参数。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。