返回资讯中心
外部精选
软件工程
#开发者实时流

Google为Gemini多款模型推出Agentic视频理解功能

来源标题:Agentic Video in Gemini

Google在Gemini 3.7 Flash、3.6 Flash和3.5 Flash-Lite上推出agentic视频理解功能,通过动态扫描视频片段提升准确率。该功能最多可减少88%的token消耗、降低66%的成本,并将质量提升最多7%。用户可在Google AI Studio或Gemini Enterprise Agent Platform中将API配置设为“agentic”启用。

Hacker News 最新gmays2026/11/18 · 今天14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们为视频分析推出的全新智能体功能最多可减少 88% 的 token 消耗,降低成本最多 66%,并将质量提升最多 7%。

您的浏览器不支持音频元素。

Google 刚刚为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 推出了智能体视频理解功能。该功能允许模型动态扫描视频片段,从而在提升准确性的同时,将 token 用量最多减少 88%,成本最多降低 66%。即日起,你只需在 Google AI Studio 或 Gemini Enterprise Agent Platform 中将 API 配置设为“agentic”,即可开始使用。

今天,我们在最新模型上推出智能体视频理解:Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite。这一新能力在提升准确性的同时,大幅降低视频分析的 token 用量和成本。与将代码执行和 Gemini 模型原生图像理解相结合的智能体视觉类似,智能体视频理解利用 Gemini 的原生视频工具来提升性能,并解锁视频处理的新能力,例如亚秒级片段检索、更精准的异常检测、精确计数等。

该功能即日起支持通过 Google AI Studio 和 Gemini Enterprise Agent Platform 中的 Gemini API 上传视频以及处理 YouTube 视频。

当前采用的“静态”处理方式,是模型以固定的每秒帧数(默认 1 FPS,可通过 API 调整)读取视频;与之不同,智能体视频理解将模型的核心推理能力与原生视频工具相结合,在视觉帧、音频和转录文本中动态搜索、扫描和检查目标视频片段。在标准视频分析基准测试中,具备智能体视频理解能力的 Gemini 模型将分析成本最多降低 66%,token 消耗最多减少 88%,同时将准确性最多提升 7%。

这些效率提升在长视频上尤为明显(从 10 分钟的操作指南到 90 分钟的讲座乃至数小时的录像),因为静态处理会迫使开发者要么承担高昂的 token 成本,要么采用会丢失关键细节的技术。

启用智能体视频理解后,Gemini 3.7 Flash 的 token 消耗最多减少 88%,准确性最多提升 7%。

虽然这些收益覆盖全部三个受支持模型,但具备智能体理解能力的 Gemini 3.7 Flash 在整体质量上表现最佳,并且在质量与成本效率之间实现了最佳组合,使其在参与测试的视频理解模型中处于准确性-成本帕累托前沿。

使用智能体视频理解使 Gemini 3.7 Flash 在视频分析中处于准确性-成本帕累托前沿。

静态处理是模型以固定帧率读取媒体流;与之不同,智能体视频理解让 Gemini 能够以主动、目标导向的方式决定观看什么、以什么速度观看、通过哪种模态(帧、音频或转录文本)观看,只获取所需的片段和信号。此前开发者可以手动完成这些工作,而借助智能体视频理解,Gemini 可以通过智能体循环完成这一过程,调用内部工具加载视频文件的相关部分,从而显著降低开发开销。

智能体视频理解改变了开发者处理各类高要求应用场景中长视频内容的方式。

查看 Gemini 3.7 Flash 在长视频理解基准 LongVideoBench 上启用和不启用智能体视频理解时的表现。注意 token 的大幅减少和准确性的提升。

借助动态 FPS 实现准确的快速动作分析

借助智能体视频理解,3.7 Flash 能够按需以不同的每秒帧数扫描和反复观看视频,从而准确计数快节奏动作。

token 高效的大海捞针搜索

借助智能体视频理解,Gemini 3.7 能够根据视频内容准确回答复杂问题,同时相比静态分析消耗的 token 数量显著更少。

许多早期访问合作伙伴在使用智能体视频理解进行测试时都看到了强劲的表现。以下是他们的评价:

智能体视频理解可通过 Google AI Studio 和 Gemini Enterprise Agent Platform 中的 Gemini API 使用,并已在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出。它采用标准的 Gemini API token 定价,不收取额外功能费用。

要启用它,只需在 API 配置中将 processing 设为“agentic”。阅读我们的开发者指南,深入了解该功能以及如何开始使用。

from google import genai client = genai.Client() interaction = client.interactions.create( model="gemini-3.7-flash", input=[ "type": "video

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →