测试显示 Supabase 官方 Postgres 技能反而拖慢模型表现
来源标题:Supabase's official Postgres skill took longer than no skill
一项对比测试发现,使用 Supabase 官方开源的 Postgres Best Practices 技能后,多数模型组合完成 SQL 权限迁移任务的时间反而比不用技能更长。测试覆盖三个涉及真实数据与行级权限变更的任务,仅 Haiku 在 token 用量和耗时上同时下降。原测试任务对所有模型组合而言过于简单。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Authorization pilot · 2026年10月26–27日 · 第4次发布 我还在继续做一系列测试,看看 skill 会如何影响模型表现。这次测的是一个官方开源 skill——Supabase Postgres Best Practices,用的正是本研究中的那个确切版本。 如果我们再往前一步,既提升这个 skill 的“性能”,又用更难的任务来测试它,会是什么样? 我们拿了这个 skill 的初始版本,跑了一组 SQL 权限迁移,跨两次独立的变更,一共分成 3 个独立任务。 每个任务都包含两次独立的 SQL 迁移,跨两次独立的变更。 这三个任务都围绕修改记录权限展开,要么在数据库层面通过行级权限来做,要么加一个 flag。它们都用了真实数据、真实迁移,而事实证明,对这些模型组合来说,这实在太简单了。 大多数迭代中,带 skill 反而比不带 skill 花的时间更多,只有 Haiku 是明显的例外——它的 token 数和时间都下降了。 RuleMetric 在估算价格方面做得还行,但这些仍然是估算值。 既然最初的测试对所有模型与 agent 的组合来说都明显不够难,我们就试了其他更困难的任务,希望能用来改进核心 skill。 这次我们向真实数据库提交 SQL,更新权限,并尝试优化数据库操作。 我们还增加了 harness 的数量(把 copilot cli 和 pi 也加了进来)。作为该 skill 的基线,我们看到了类似的结果,有几个任务失败,token 数和时间的增长也更明显。 因为存在失败,其中一些通过计数会让 token 计数产生偏差,因为失败减少了实际生成的 token 量。 既然现在有了失败,我们也就有了 trace 和问题记录,可以用来尝试改进这个 skill。 我们在 skill 里加了一小段,要求复查正确的迁移是否执行了(实际内容比这更详细,但大意如此)。 我们做了三次对比:一次不带 skill,一次用原始 skill,一次用修改后的 skill。 token 用量有明显改善,但结果再次被失败/通过率带偏——有的少算了 token,有的多算了。你也能看到非确定性系统的结果:在连续运行中,先前通过的任务后来失败了。大多数组合的 token 和时间都有所下降,但理想情况下应该用同样的 prompt 做更多次迭代,把样本量做到更大(+15%)。 这项研究说明了在非确定性系统中审查和更新 skill 有多难,但同时也说明,你可以更新/优化它们,以贴合自己独特的工作流。我们需要在更大规模上运行,在 harness 和模型组合上做更多次迭代。有意思的是,skill 对较低层级模型的正负影响都更大。 本次 revision-one 对比所用的确切 SKILL.md SHA-256 哈希: ad65e776f45e761bafc609d3f506c77c1032225aa65e0c4c02f241b8071e5855 Revision 1: 36614d61501b5d7a124f718dd1e8f6d6cb296eb41c515083dc91b655df77d6f6 原始 pilot 的可下载证据只描述那次 pilot;不应将其视为上述后续对比的原始数据集。后续的尝试记录、测量核对以及失败的配置历史都另行保存。 发布编号是文章的版本号。上面的“Revision 1”指的是对 skill 所做的一次被测改动,不是网站的第 1 次发布。主研究的 URL 指向最新发布的文章,而这些链接保留的是更早的文本: 原始 pilot 使用的是 code CLI 0.164.0 和 Claude Code 2.1.310。Codex 的模型名是请求时指定的身份;Claude 的身份则是从响应中观察到的。上述后续对比包含 code CLI、Claude Code、GitHub Copilot CLI 和 Pi。结果仅适用于其记录的任务/模型/harness/版本范围;不可用的组合和失败的配置尝试与已完成的对比分开保留。 本研究使用的 Supabase skill · 已归档的原始报告,含完整方法与结果
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。