BenchAudit 推出 LLM 基准审计平台,检测数据泄漏与评测框架缺口
来源标题:BenchAudit – Auditing LLM benchmarks for leaks, data reuse, and harness gaps
BenchAudit 上线了一个用于审计大语言模型基准的平台,可从泄漏、数据复用和评测框架缺口等维度检查基准完整性。平台按 Tier S 到 Tier D 对基准分级,并支持按领域、技能和新鲜度筛选,同时排除缺少近期前沿模型的陈旧榜单以避免队列偏差。它还提供完整性评分与官方模型排行榜的交叉对比。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
搜索基准 中心 所有中心 排序 总体 ↓ 总体 ↑ 暴露度 ↓ 暴露度 ↑ 来源 ↓ 来源 ↑ 新鲜度 ↓ 新鲜度 ↑ 测试框架 ↓ 测试框架 ↑ 最近刷新 对比 0 ▾ 对比基准 全选 清除 查找基准 共显示 0 项 应用 重置筛选 0 类别 完整性等级 所有等级 S 级(85–100) A 级(70–84) B 级(50–69) C 级(30–49) D 级(0–29) 领域 技能(可多选) 显示 0 个基准 尝试清除一个或多个领域、技能、等级或搜索筛选条件。 跨研究结论:将基准完整性得分与官方实时模型排行榜联系起来,以及更多内容 在持续更新的 S 级留出评估和活跃的 C、D 级基准上对当前世代模型进行比较。缺少近期前沿模型的冻结遗留排行榜已被排除,以防止队列偏差。 每个形状代表一个经审计的基准:从左到右显示自上次重大更新以来已过去多少个月,从下到上显示其完整性得分(0–100)。圆形是私有的留出测试,其可信度随时间保持不变;菱形是公开或易于获取的数据集,往往随时间推移发生泄漏并贬值。悬停或点击任意形状可查看详情。 各领域中 S–D 级的分布及平均得分。点击任意条形可筛选上方表格。 按问题和答案受保护严格程度对基准进行分组——从顶部的锁定私有服务器到底部的开放公开下载。每个条形显示该组的平均完整性得分(满分 100)、最低到最高范围,以及可点击的基准示例。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。