Artificial Analysis 联合推出 MKA 基准，评估 AI 代理处理可视化复杂文件的能力

多模态知识智能体（MKA）基准由我们与 Artificial Analysis 联合开发，用于评估智能体如何对视觉复杂的文件进行推理，从而完成真实世界的知识工作任务。Gemini 4 Carbon 以同类模型一小部分的价格，提供了顶级质量。

您的浏览器不支持音频元素。

我们与 Artificial Analysis 合作，推出 MKA（多模态知识智能体）——一个全新的基准，旨在评估智能体如何对视觉复杂的文件进行推理，以完成真实世界的知识工作任务。

大多数知识工作基准仅靠文本就能完成，根本不需要查看图像或页面布局。然而，日常的专业工作却大不相同。在许多行业中，日常工作高度依赖视觉——从交叉比对建筑蓝图、追踪工程示意图，到将研究结果整合为精美的演示文稿、报告和电子表格。我们构建 MKA，正是为了衡量智能体处理这类视觉复杂工作的能力。

为了让基准贴合真实工作流程，我们与覆盖 10 个行业、83 种职业的领域专家合作，这些职业的日常工作本身就高度依赖视觉。这些专家——从建筑师、生物学家到核保师和数据科学家——共同创建了 MKA 的 200 项任务评估集，用以辅助他们的实际工作。

每项任务都对应一个多步骤项目，资深专业人士需要三到八小时才能完成；任务包含一个贴近真实的提示词和一组多模态输入文件，并配有专家编写的评分标准，包含约 70 项是/否检查，其中 75% 权重用于事实准确性，25% 用于视觉设计。

三个 MKA 任务示例，展示从提示词和输入文件到标准答案及评分标准。

从今天起，您可以在 Artificial Analysis 上探索该基准并评估您自己的模型。每个模型都在同一个开源智能体框架 Stirrup 中运行，使用相同的工具、沙盒和轮次预算。

一个基于非 Google 模型构建的智能体自动评分器负责为每份交付成果打分。它会打开每个文件、渲染页面、检查电子表格公式，并对照专家评分标准核查工作成果。当领域专家亲自为模型输出评分时，他们与自动评分器的一致率达到 96%。

为保持结果的有效性，Artificial Analysis 运行这套 200 项任务的评估集并将其保密，以免任务泄露到训练数据中，或被模型通过搜索找到。我们还在 Hugging Face 上发布了另一套包含 10 项任务的公开集，任何人都可以查看其格式并测试自己的智能体。

我们的技术报告详细介绍了方法论和结果。报告显示，前沿模型的工作方式差异极大。在相同任务上，我们测试的模型在效率上存在极大差异，平均每个任务使用 30 到 130 个轮次。我们展示了强大的感知能力对于解决每项任务是何等必要，也展示了当视觉被移除时，模型如何尝试补偿却最终失败。

在我们测试的模型中，Gemini 4 Carbon 的质量排名第 #2，且完成任务的平均成本比得分最高的模型低 6 倍。

Gemini 4 Carbon 在 MKA 评估中处于质量与价格的前沿边界上。

Gemini 4 Carbon 今日已可通过 Google AI Studio 中的 Gemini API 使用。查阅我们更新的 Gemini 4 开发者指南和文档以开始使用。

请查收您的收件箱以确认订阅。

您的信息将按照 Google 的隐私政策使用。您可以随时选择退出。