
Groovy测试:Particle-1与GPT-6.1 SOL通过率相同,成本低71%
来源标题:Particle-1 vs. GPT-6.1 SOL: same pass rate, 71% lower cost in our tests
在Groovy的90次编程与数据科学测试中,Particle-1与GPT-6.1 SOL均通过30次试验中的28次,而Particle-1成本低71%至72%。Particle Max通过26次,两者均通过全部四项持续编码试验中的三项(Max为三项)。该研究为期小型受控实验,作者称不构成模型的通用排名。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
所有文章研究 / 001 2026年11月9日 · 作者:Groovy Particle 与 SOL 对比。相同的 Groovy 工具。九十次编码和数据科学试验。更深入地观察每个模型能够完成什么。 Particle-1 High 28 / 30 通过 · $2.76 供应商成本 15 个场景 × 2 次尝试 × 3 种配置。成本按峰值费率归一化;包含失败的试验。 一个模型可以每 token 更便宜,但使用起来仍然昂贵。如果它破坏了已经能正常工作的代码,就必须有人找出问题、修复它,并重新运行任务。 我们想知道这种权衡出现在哪里。于是我们把 Particle-1 和 GPT-6.1 SOL 放进同一个 Groovy 执行系统,给它们相同的任务,并检查它们产出的工作。 Particle High 和 SOL 各自在 30 次试验中通过了 28 次。Particle Max 通过了 26 次。两种 Particle 配置在峰值供应商费率下成本低 71–72%。High 和 SOL 还通过了全部四项持续编码试验;Max 通过了三项。这些结果衡量的是本研究中检查的行为,评估规则如下所述。 这是一项小型、受控的研究。它帮助我们决定接下来测试什么。它不是对模型的普遍排名。 通过意味着运行器记录了最终响应,并且提交的工作在我们的评估规则下通过了所有检查。每个计数包括每个场景的两次尝试。关于可接受的等效输出和存储契约,请参见方法。 一个十进制解析器、一个异步 map 工具,以及 Groovy 代码库中的一处变更。 核对杂乱的财务记录,并预测未见的时间序列数据。 选定的 DS-1000 子集,涵盖 NumPy、pandas、SciPy 和 scikit-learn。 扩展一个持久化账本和一个作业队列,同时保留先前的要求。 运行器在全部 90 次试验中都记录了最终响应;提交的工作在 82 次中通过了评估。仅有最终响应并不能证明工作已完成。 在归一化峰值费率下,每种 Particle 配置运行全部 30 次试验的成本都低于 $2.76。SOL 的成本为 $9.64。该比较包含失败的尝试。每次通过成本和共享通过比较都使用与头条结果相同的评估。 峰值费率供应商估算 · 美元 · 越低越好 包含失败试验的成本。每次通过成本是总成本除以本文通篇所用同一评估下的通过次数;各模型解决的并非完全相同的试验集。 我们还只比较了两个模型都通过的试验。在 28 次共享通过中,Particle High 成本为 $2.68,而 SOL 为 $9.44。在 26 次共享通过中,Particle Max 成本为 $2.37,而 SOL 为 $7.61。High 和 Max 的比较覆盖不同的试验集。 Particle 的运行发生在半价非高峰时段。该时段的估算支出为 High $1.38、Max $1.36。我们在图表中使用峰值费率,以免一天中的时段带来额外优势。 这些是根据记录的使用量和 2026 年 11 月 8–9 日公布费率得出的供应商成本估算,并非对账后的发票。它们不包括 Groovy 的平台费、订阅费和本地计算。 SOL 复用了更多缓存输入,模型调用次数更少。按这些费率,Particle 仍然更便宜。仅看 token 数量会错过这一点。 每种配置都通过了我们的财务核对和预测任务。预测误差非常接近:在相同的未见合成数据上,平均绝对误差范围为 0.522 到 0.530,而通过阈值为 3.5。 选定的 DS-1000 问题 · 每种配置 16 次试验 检查比较数值和聚类成员关系,接受等效的计数 dtype 和任意聚类标签。结果描述的是所评估的固定样例,而非所有可能的输入。 对于公开的 DS-1000 子集,我们检查了数值结果和聚类成员关系。相同值的整数和浮点计数被接受,标签编号不同但聚类相同也被接受。 Particle High 和 SOL 各自在 16 次试验中通过了 14 次;Particle Max 通过了 13 次。一个 Max 结果产生了不同的分组。三种配置都在一个微分方程任务的两个尝试中失败,该任务的提示和参考鼓励不同的解释。 这些是在八个选定的公开问题上的结果,不是官方 DS-1000 排行榜分数。通过检查的固定样例并不能证明在每个未见输入上都正确。 我们要求每个模型分多个阶段扩展两个小型项目。每个新阶段都必须保留先前的要求。每个模型四次试验是小样本,一次检查失败就会使整个试验失败。 High 和 SOL 通过了全部四项持续编码试验。Max 通过了三项。检查接受对描述为修剪字符串的输入进行经验证的修剪,并用每个队列工作器提供的存储实现来检验它,包括错误处理。与不同异步存储适配器的兼容性不在本评分范围内。 一次 Max 账本运行留下了真实缺口。第三阶段的编辑更改了返回值却没有更新其调用方,并删除了一个仍在使用中的常量。第四阶段修复了一些基本行为,但类别总计、批处理和 CLI 仍未完成。 在该运行的第三和第四阶段,Particle 返回了一个未完成的计划,带有停止信号且没有工具调用。运行器将其接受为该阶段的结束。两个响应都低于输出限制,记录的历史完整。我们尚未测试另一次继续是否会恢复工作。 这些项目耗时数分钟,SOL 成功的持续编码运行每次大约耗时 15–19 分钟。本研究并未证明在大型代码库中数天工作的可靠性。 总计是各次试验墙钟时间之和。SOL 的中位数最快,但在持续编码项目上花费了更长时间。Max 总体上比 High 多用了 37% 的时间和 31% 的输出 token,通过次数却更少。更多努力并不能保证在这些任务上获得更好的结果。 模型阅读问题并选择工具或编写程序。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。