
Inkling 2 Small 在 AAII v5.0.1 得分 31,在“美国”开源权重模型中表现最优
来源标题:Inkling 2 Small Scores 31 on AAII v5.0.1, best-in-class among "US" open weights
Inkling 2 Small 在 Artificial Analysis Intelligence Index v5.0.1 上得分 31,在“美国”开源权重模型中排名第一。该指数由九项评测综合而成,覆盖知识工作、编码、科学和常识等方向。同一榜单上,Claude Fable 5.2(Max)以 65 分居首。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Artificial AnalysisK Artificial AnalysisModels Coding Agents Image, Speech, Video Inference Leaderboards About AI Trends K 全部指数 背景 Artificial Analysis Intelligence Index 综合了九项评测的表现:AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 (Hard Subset) 以及 Terminal-Bench-Science 0.1。 这一综合指标提供了一个单一分数,用于跟踪在知识工作、编程、科学和通用知识领域朝着通用人工智能发展的进展。 方法论 所有评测均由 Artificial Analysis 独立进行。更多信息请参阅我们的 Artificial Analysis Intelligence Index 方法论。 相关链接 AA-Briefcase v1.1 AutomationBench-AA Terminal-Bench 4.0 FrontierCode-AA 2.0 AA-Omniscience v1.1 GDP.pdf HLE-Diamond CritPt v2 (Hard Subset) Terminal-Bench-Science 0.1 Artificial Analysis Intelligence Index Claude Fable 5.2 (Max, Default Fallback) 在 Artificial Analysis Intelligence Index 上得分最高,为 65 分,其次是 Claude Fable 5.2 (Xhigh, Default Fallback),得分为 62 分,以及 Claude Fable 5.2 (High, Default Fallback),得分为 62 分。 每任务成本 K2 Horizon 375B A23B 在 Artificial Analysis Intelligence Index 上的每任务成本最低,为 $0.00,其次是 Command A+,为 $0.00,以及 North Mini Code,为 $0.00。 使用的输出 token GPT-6 Luna (Low) 运行 Artificial Analysis Intelligence Index 使用的输出 token 最少,为 5.82M,其次是 GPT-6.1 Terra (Low),为 7.19M,以及 GPT-6.1 Sol (Low),为 8.18M。 分数Token 用量成本速度分数与发布日期对比示例任务 分数 Artificial Analysis Intelligence Index:分数 由 Artificial Analysis 独立评测 128 个模型中的 28 个 无公开可用 API Intelligence Index 与每任务成本对比 Artificial Analysis Intelligence Index · 每项 Artificial Analysis Intelligence Index 任务的加权平均成本(美元) 128 个模型中的 28 个 最具吸引力的象限 帕累托线 AnthropicGoogleOpenAIKimiMetaSpaceXAITencentAlibabaDeepSeekZ AIThinking MachinesXiaomiInclusionAIMistralReflectionNVIDIA 每项 Intelligence Index 任务成本 每项 Intelligence Index 任务的加权平均成本。每项评测的成本由输入、缓存命中、缓存写入、推理和答案 token 的价格计算得出,除以任务数量,并按其 Intelligence Index 权重加权。 Artificial Analysis Intelligence Index Artificial Analysis Intelligence Index v5.0.1 包含:AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 (Hard Subset)、Terminal-Bench-Science 0.1。详情请参阅 Intelligence Index 方法论,包括每项评测的细分说明以及我们的运行方式。 128 个模型中的 28 个 无公开可用 API 答案推理 每任务评测输出 token 本次评测中,每个基准任务平均产生的答案 token 和推理 token 数量。 128 个模型中的 28 个 答案推理缓存写入缓存命中输入 每项 Intelligence Index 任务成本 每项 Intelligence Index 任务的加权平均成本。每项评测的成本由输入、缓存命中、缓存写入、推理和答案 token 的价格计算得出,除以任务数量,并按其 Intelligence Index 权重加权。 128 个模型中的 28 个 每项 Intelligence Index 任务耗时 每项 Artificial Analysis Intelligence Index 任务的加权平均时间(分钟):每任务输出 token 除以输出速度,再按各基准在 Intelligence Index 中的权重加权。 时间段 速度和延迟指标对各端点过去 5 天的运行取平均,错误率则汇总计算。我们每 6 小时运行一次基准测试,已弃用模型的端点每 18 小时运行一次。 128 个模型中的 28 个 最具吸引力的区域 AnthropicGoogleOpenAIMetaKimiSpaceXAITencentAlibabaDeepSeekZ AIThinking MachinesXiaomiInclusionAIMistralInstitute of Foundation ModelsReflectionNVIDIA 示例任务 AA-Briefcase - 第 1 周,任务 1:市场结构图 场景:对 Aurora Eggs 机会进行初步外部商业尽职调查的第 1 周,需从共享的源文件语料中产出四项并行交付物。 目标:创建一份单页 LaTeX 文档,其中包含一张 TikZ 图表,用于描绘新西兰鸡蛋市场的结构。该图表将作为理解该行业生产体系和渠道的视觉辅助工具。 交付物:market_overview.tex 和 market_overview.pdf 用户请求:将本月费用分配到相应的资助项目中。对照资助预算和允许的成本类别检查每项费用。标记任何会导致资助项目超预算或属于允许类别之外的费用。将分配报告通过电子邮件发送至 grants@company.example.com。在通知或记录中引用源数据中的数值时,请逐字保留(不要改写或四舍五入)。 环境(通过 REST API 工具访问的模拟应用): 已连接应用:Gmail、Google Drive、Google Sheets 护栏(不得违反): 本任务无 系统提示:你是一名工作流自动化代理。使用可用工具执行所请求的任务。不要提出澄清性问题——使用所提供的信息,并在需要时做出合理假设。你拥有约 50 个工具使用轮次的预算——优先使用并行工具调用,避免重复搜索。在消息或记录中总结工作时,只列出你实际处理过的项目。除非用户请求或权威工作流明确要求提供排除或拒绝通知或记录,否则不要命名、列举或解释你跳过、排除或拒绝的项目。当确有要求时,仅在指定目的地提供所需的说明;不要添加通用排除摘要。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。