Artificial Analysis 发布端点准确率指数：近四分之一第三方 AI 端点性能低于其宣称模型

Artificial Analysis 发布了 Endpoint Accuracy Index v1.1，发现近四分之一的 serverless endpoint 得分低于参考部署。该指数将 BFCL v4-500（工具调用）、HLE-250（推理）和 AA-LCR-25（长上下文）三项评估等权合成，与自托管的基准部署进行对比。

Artificial Analysis 发布了其 Endpoint Accuracy Index 的 1.1 版本，该指数将托管式开放权重模型与其官方权重的参考部署进行比较。在 100 多个 serverless endpoint 中，大约每四个就有一个得分低于其参考部署。

这一差距之所以重要，是因为模型名称并不能完全描述 API 背后的产品。提供商可能对权重进行量化、使用自定义 kernel、修改推理设置、限制输出长度，或引入实现层面的 bug。该指数衡量每个 endpoint 保留了多少准确率，在通常的价格、延迟和吞吐量对比之外，增加了一个质量信号。

Artificial Analysis 会对每个 endpoint 重新运行三项等权评估，然后将结果与使用官方权重、按推荐精度自托管的基准进行比较。得分 100% 表示与参考结果一致。得分高于 100% 是可能出现的，因为重复评估仍存在采样方差，因此附带的 95% 置信区间仍然必不可少。

参考配置被详细记录到 serving 软件和硬件层面。例如，GLM-5.3 的参考配置使用八块 NVIDIA B200 GPU、SGLang 0.5.18、原生 FP8 权重配合 DeepGEMM kernel、EAGLE 投机解码，以及 262,000 token 的上下文窗口。测试使用每个托管 endpoint 支持的最高推理模式，启用流式输出，并请求其最大输出额度。

GLM-5.3 Flash 的结果覆盖了 24 家提供商的列表，包括 Together AI、Fireworks、Baseten、DeepInfra、CoreWeave 和 Z.ai，其中 22 个 endpoint 有可用得分。16 个有得分的 endpoint 在统计上与参考一致，其中一个达到 104.2%。最差的结果可追溯到两个运营层面的选择：

提供商的经济性也同样差异悬殊。每个 Intelligence Index 任务的混合成本跨度达 4.4 倍，从 GMI 的 $0.41 到 Modal 的 $1.81。完成时间从 Inco 的 FAST endpoint 的 5.5 分钟到 SiliconFlow 的 51.5 分钟不等。因此，一个得分 79% 或 83% 的 endpoint 可能在价格或速度上看起来很有竞争力，但实际结果明显更弱。

Meta 的 Muse Spark Open 提供了一个更窄的 endpoint 特定故障示例。在 xhigh 推理模式下测试的五个 endpoint 中，有三个得分在参考的 99.5% 到 99.9% 之间，其中包括一个使用 FP4 权重的部署。另外两个将声明为字符串的工具参数（例如预订 ID）编码为数字。

这种 schema 不匹配使其原始 BFCL v4-500 得分降至 50% 和 51%，而参考为 59%。同样的 endpoint 在 HLE-250 和 AA-LCR-25 上仍与基准相差不超过两个百分点，因此不涉及工具调用的工作负载可能永远不会遇到该缺陷。

GLM-5.3 在该指数中覆盖范围最广，有 26 个 endpoint 得分从 67.2% 到 99.3%。其三个最大的缺口源于输出上限和推理循环导致的 HLE-250 响应截断。六个 FP4 endpoint 中有五个在统计上与 FP8 参考一致，这削弱了较低精度权重总是带来最大准确率损失的假设。

DeepSeek 的提供商结果显示出该指数中最窄的范围。全部 22 个 endpoint 在统计上与参考一致，得分跨度从 97.5% 到 101.4%。

选择托管式开放权重模型的团队可以将该指数作为更广泛的 endpoint 评估中的一个环节：

该指数覆盖固定的评估套件，托管配置在测量后可能发生变化。即使在这一范围内，结果也表明 checkpoint 名称并不是完整的 API 规范。有记录的参考部署和 endpoint 级别的置信区间使质量损失在进入生产环境之前就可见。

报道索引自 AlphaSignal。权利归原始发布者和引用来源所有。

原始报道、更新和更正仍归来源发布者所有。