
Google推出Gemini Decisions API,单次请求最多可处理1000个问题
来源标题:Google’s Gemini Decisions API to handle up to 1,000 questions per request
Google发布Gemini Decisions API,让开发者在AI应用中处理常规判断而无需生成文本回复,该API由Gemini Decision 1模型驱动,单次请求最多可评估1000个问题。该API通过为指定选项分配概率来输出决策,支持图像、音频、视频等多模态输入,上下文窗口达25.6万token。在1.6万token上下文的测试中,端到端延迟为150至250毫秒。
以下正文由 AI 翻译自 InfoWorld(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Google 发布了 Gemini Decisions API,为开发者提供了一种在 AI 应用中处理常规决策而无需生成文本响应的方法。几周前,OpenAI 刚推出了同类竞争服务。
该 API 由 Google 新推出的 Gemini Decision 1 模型驱动,允许开发者在单次请求中评估最多 1,000 个问题。与传统逐 token 生成响应的生成式 AI 模型不同,该系统为指定选项分配概率,使应用无需等待生成的答案即可做出决策。
开发者可以用该 API 检查某个条件是否满足,或从预定义集合中选择一个选项。它还可以按照评分标准对输入进行打分,让应用评估输入满足指定标准的程度。
该 API 支持多模态输入,包括图像、音频和视频,上下文窗口最高可达 256,000 个 token。开发者可以利用返回的置信度分数来决定应用何时应自动继续,或何时将不确定的情况转交进一步审核。
Google 表示,在上下文最多 16,000 个 token 的测试中,该 API 的端到端延迟为 150 至 250 毫秒,且在 1 到 100 个问题的范围内性能保持相对稳定。
该公司将该 API 的定价设为每百万输入 token 0.10 美元,不额外收取输出 token 费用。Google 在公告中表示:“无论你评估多少个问题,共享输入每次请求只计费一次(每个问题只增加其自身的指令和标准 token)。”
Google 已在其 Gemini Notebook 产品中使用这项技术,根据每个请求的复杂程度将查询路由到不同的 AI 模型。据该公司称,这种方法将日常查询的延迟降低了多达 40%。
Google 表示,它还在搜索中使用该 API 来检测涉及 Model Context Protocol(MCP)工具的对抗行为,将其用途从模型路由扩展到与安全相关的决策。
该 API 可通过 Google AI Studio 使用,与开发者框架的集成正在逐步推出。对 Google Cloud 上 Gemini 的支持预计将在稍后提供,但 Google 尚未给出具体发布日期。
应用与竞争
专用决策模型的应用场景可能不止于在 AI 系统之间路由请求。
“该模型非常擅长从非结构化、动态的输入中生成决策,”Omdia 首席分析师 Lian Jye Su 表示。他指出政策与风险评估是潜在应用方向,信用评分也在其中。
OpenAI 的 Decisions API 已于 10 月正式可用,每次请求最多支持 400 个问题,而 Google 的上限为 1,000 个。
两家公司的标准费率均为每百万输入 token 0.10 美元,且不收取输出 token 费用。OpenAI 还为缓存输入提供折扣定价,这可能会影响那些反复处理相同上下文的应用的成本。
Google 的产品比 OpenAI 的 Decisions API 支持更广泛的多模态输入,包括音频和视频。
Su 表示,直接比较两款产品可能不如看各自与企业现有开发环境的契合度重要。他认为,开发者应超越公开的基准测试,评估这些系统在实际运行条件下做出决策的可靠性。
“真正的价值在于减少误判、提升决策质量,”Su 说。
生产环境中的风险
Su 警告称,输入数据的变化或被人为操纵的输入,可能导致决策 API 产生错误判断。即便 API 返回了置信度分数,单凭这一点也无法确定其评估是否可信。
“所有决策过程都必须高度结合上下文,并依托可信且安全的上下文层,”Su 说。
他建议将决策模型连接到包含历史交易和既定业务策略的数据库。这有助于确保模型依据相关的组织信息来评估请求,而不是完全依赖即时输入。
Su 还表示,Google 需要在不削弱该服务成本和性能优势的前提下,满足企业对数据保留和主权的要求。
Kadence International 高级副总裁 Tulika Sheel 提出了一个相关担忧:随着企业将 AI 决策纳入自主工作流,人类问责制将如何落实。“随着 AI agent 变得更加自主,企业需要为代用户做出的决策和采取的行动建立清晰的问责机制,”Sheel 说。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。