Google Research发布Agile Deliberation框架，助用户定义主观图像分类概念

Google Research 发布了 Agile Deliberation，这是一个 human-in-the-loop 框架，用于围绕主观概念构建图像分类器。比如“健康食品”“鼓舞人心的艺术作品”，或内容审核中的标题党。大多数工具都假定用户已经知道概念边界。Agile Deliberation 则假定他们并不知道，并帮助他们找到边界。

TL;DR

• 框架：通过 API 调用 Gemini 2.5 Pro 和 Gemini 2.5 Flash，无需微调。
• 运行环境：Jupyter 或 Colab notebook。检索使用 CLIP embeddings 和 FAISS 索引，可在 CPU 或 GPU 上运行。演示索引初始约 260 MB。
• 性能：在 2 个概念和 18 次实时会话中，平均比 zero-shot Gemini 2.5 Flash 高 10.5 个 F1 点。
• 最佳：paid to play 的 F1 为 0.59，对比 zero-shot 的 0.48，precision 提升 22 点（0.35 到 0.57）。
• 最差：paid to play 的 recall 下降 17 点（0.80 到 0.63），健康食品下降 15 点。

什么是 Agile Deliberation？

Agile Deliberation 是 Google Research 的一个框架，它把模糊概念转化为结构化的书面定义。这个定义承担两项职能。它既是人类可读的策略，也是 VLM 分类器的文本 prompt。每一轮都会保留在用户标签上 F1 最佳的候选定义。 该设计来自对一组内容审核专家的访谈。专家先界定概念范围，再在边界图像上细化。找到这些图像是最慢的环节。

概念范围界定如何工作？

第 1 阶段使用 Gemini 2.5 Pro 的 prompt chaining，将概念拆解为最多 3 个单位概念。每个单元都会得到候选的正向和负向子概念，并展示检索到的图像。对于健康食品，正向可能是沙拉或谷物碗。负向可能是加工食品或未加工的原料。用户保留、翻转或删除每一个。

概念迭代如何找到边界图像？

第 2 阶段跳过经典的不确定性采样。分类器是一个通过 prompt 驱动的生成式 VLM，因此其置信度分数往往未校准。相反，系统寻找在含义上处于边界的图像。 该流程运行 4 个步骤：

• Gemini 2.5 Flash 编写边界查询，例如“加大量蛋黄酱的沙拉”。每个查询检索 50 到 100 张图像。
• 图像经去重、编码，并通过字典学习分组为簇。
• UCB 多臂 bandit 选择下一个簇。它偏向用户纠正过模型或留下丰富反馈的簇。
• VLM 用 1 句话概括每张图像。用户至少看到 5 张共享 1 个歧义的图像。 用户为每张图像打标签，并对分歧添加简短备注。LLM 将这些备注转化为候选定义。贪心更新保留得分最高的那个。

如何评估？

主观概念没有固定的 ground truth，因此 Google 团队跳过了静态基准。它运行了 18 次实时会话，每次约 90 分钟。9 名没有专业审核经验的参与者每人进行 2 次会话。一次会话使用 Agile Deliberation，另一次使用手动 deliberation。每位参与者花约 45 分钟定义一个概念，然后为 200 张留出测试图像打标签。 这两个概念分别是“paid to play”标题党和“健康食品”。检索分别在一个专有的 1 亿图像数据集和 WebLI 上运行。

基准测试显示了什么？

F1（Agile Deliberation 组）Zero-shotModeling CollaboratorAgile DeliberationGain vs zero-shot Paid to play0.480.530.59+11 点 Healthy food0.480.500.58+10 点 来源：CVPR 2026 论文表 1。F1 为参与者平均值。

与其他主观分类器方法相比如何？

FeatureAgile DeliberationModeling CollaboratorAgile ModelingZero-shot VLM VenueCVPR 2026CVPR 2024ICCV 2023论文中的 baseline 核心思路在语义边界图像上进行 deliberation，然后自动优化 promptLLM agent 分解概念并自动标注数据用户在实时循环中标注图像从初始描述进行分类 人工投入约 45 分钟的标注和反馈约 100 个标签加聊天（对比约 2,000）14 人研究中不到 30 分钟1 个概念描述 处理演进中的定义是否（静态）否（静态）否 分类器Prompted Gemini 2.5 Flash轻量级蒸馏分类器未披露Prompted Gemini 2.5 Flash F1，paid to play0.590.53未测试0.48 F1，健康食品0.580.50未测试0.48 代码Apache 2.0，GitHub未披露未披露Gemini API

开发者如何运行？

该 repo 附带一个 Demo.ipynb，演示健康食品示例。它需要 Gemini API key，默认使用 gemini-2.5-pro 和 gemini-2.5-flash。一个安装脚本会在 LAION-400M CLIP embeddings 上构建 FAISS 索引。默认 2 个 shard 约占 260 MB。全部 100 个 shard 约占 13 GB。

关键要点

• Agile Deliberation 帮助用户发现主观概念的边界，而不仅仅是标注它。
• 它按含义而非分类器置信度寻找边界图像。
• F1 平均比 zero-shot Gemini 2.5 Flash 提高 10.5 点。
• 用户报告称，与手动编辑 prompt 相比，投入的精力和压力显著更低。
• 代码已在 GitHub 开源，附带基于 Gemini 的演示 notebook。 查看论文、arXiv 版本、GitHub repo 和 Google Research 博客。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。 需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等？联系我们 文章 Google AI Research Releases Agile Deliberation Framework for Gray-Area Image Classifiers 首发于 MarkTechPost。