返回资讯中心
外部精选
软件工程
#开发者实时流

Claude Opus 5.5 在最新 EDA 基准榜单上超越 GPT-6 Astra

来源标题:Claude Opus 5.5 Beats GPT-6 Astra in the Newest EDA Benchmark Leaderboard

在最新 EDA 基准排行榜上,claude-opus-5-5 以可靠性调整后 0.62 的得分超过 gpt-6-astra 的 0.55。两者原始均值分别为 0.65 和 0.63,但 gpt-6-astra 稳定性更差,调整后差距反而拉大。该得分按均值乘以 exp(-2.25×CoV^0.88) 计算,波动越大扣分越多。

Hacker News 最新nvmdbljstm2026/11/9 · 8 天前9 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

紧随其后的是 gpt-6-sol,得分 0.43;gemini-3.8-flash 和 claude-fable-5 经可靠性调整后均为 0.42。第三名与第四名之间差距明显,而此前的榜首如今已明显落后于新的第一梯队。

可靠性调整分数的计算公式为 ms × exp(-2.25 × CoV^0.88)。较高的均值可能因较高的变异系数 CoV 而被抵消,也就是说,运行间的不稳定性越大,调整后的分数越低。gpt-6-sol 与 gpt-5.6-sol 的对比是最清楚的例子。gpt-6-sol 的平均分更高:均值 0.53,而 gpt-5.6-sol 为 0.48,原始分析质量约高出 10%。但在稳定性惩罚之后,它反而落后:可靠性调整分数为 0.43,而 gpt-5.6-sol 为 0.46。gpt-6-sol 平均而言能达到更高的峰值,但在每个问题的五次重复轨迹中波动更大。gpt-5.6-sol 波动较小,因此其均值在调整后基本得以保留。从生产角度看,gpt-6-sol 偶尔可能给出更好的答案,但 gpt-5.6-sol 是更可靠的选择。

新一批模型的顶部也出现了类似情况。gpt-6-astra 的均值为 0.63,而 claude-opus-5-5 为 0.65;可靠性调整分数分别为 0.55 和 0.62。调整后差距反而扩大,说明 gpt-6-astra 尽管平均分排名第二,但相对不稳定性更高。在中段,gemini-3.8-flash 表现出相反的效果。它的均值为 0.52,而 claude-fable-5 为 0.50,但两者经可靠性调整后均为 0.42。gemini-3.8-flash 更高的平均值被更大的运行间波动所抵消,使其与较旧的 claude-fable-5 持平。gpt-6-luna 的惩罚幅度很大:均值 0.29 降至可靠性调整后的 0.18。均值分数图中较宽的区间表明其变异性很高,因此该模型的平均分被大幅折减。

该基准再次表明,相似的均值可能导致不同的调整结果。Claude-sonnet-5 和 gpt-5.4 在两项测量中的均值均为 0.23,可靠性调整分数分别为 0.10 和 0.07。gemini-3.5-flash 的均值为 0.24,可靠性调整分数为 0.10,因此调整后与 claude-sonnet-5 持平。gemini-3.1-pro-preview 的均值为 0.21,调整后降至 0.07,与 gpt-5.4 相同。同样,均值最低的 deepseek-reasoner(0.18)凭借更高的稳定性获得了 0.09 的可靠性调整分数,排名超过了均值更高的模型。这印证了一个原则:模型的有用性不仅取决于平均质量,还取决于该质量的可预测性。

均值分数估算每个模型在整个基准上的平均分析质量。均值分数图中显示的区间是由变异系数计算得出的 ±1 标准差。区间越宽,表明重复轨迹之间的差异越大。在实际应用中,这意味着模型可能在某次运行中很好地解决任务,而在另一次运行中表现差得多。

可靠性调整分数将均值结果与相对不稳定性结合起来:可靠性调整分数 = ms × exp(-2.25 × CoV^0.88),其中 ms 为均值分数,CoV 为重复轨迹间的变异系数。该分数介于 0 和 1 之间。数值越高,表明分析质量和可重复性越强。

完整的 EDA Benchmark 方法论、公开任务、配置、输出和评估产物均可在 GitHub 上的项目仓库中获取。

EDA Benchmark 是 deepsense.ai 所开发的合成数据与评估工作的公开示例。我们为开发 LLM、VLM 和 agentic 系统的 AI 实验室创建定制数据集、任务生成器、基准和评估环境。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →