Cloudflare 发布 Clef-omni，原生支持音频视频图像文本

继上周发布 Clef 和 Clef-flash——Cloudflare 的开权重决策模型——之后，我们决定带来更多惊喜。今天，我们发布 Clef-omni，它除了文本和图像输入外，还能接收音频和视频输入。我们还下调了 Clef-flash 的价格，使其现在比 Jev 更便宜，同时让 Clef 变得更快。

虽然对 Cloudflare 来说，模型这场游戏仍处于早期阶段，但创新和迭代深植于我们的 DNA 之中，我们将这些原则应用到所做的每一件事上。事实上，Clef 的故事在不到一周的时间里就成型了。我们在一个周五晚上决定要在决策模型领域做点什么，利用周末训练了模型，并在周四发布。即便时间线如此之短，我们仍能为社区交付高性能、高质量的开权重模型——想象一下未来我们还能做多少事。

今天，我们很兴奋能够延续这一势头，为 Clef 模型家族带来新的成员和改进。这仅仅是开始，我们将继续变得更好、更快、更便宜、更具创新性。

Clef-omni 支持音频、视频、图像和文本输入

我们全新的 Clef-omni 模型能够接收音频、视频、图像和文本输入。这改变了决策模型的范式——自 TypeSafe 的 Jev 首次亮相以来，这类模型基本上只支持文本。在 Clef 中，我们已支持图像和视频帧数组，但 Clef-omni 能够在文本和图像之外接收音频（wav 或 mp3）和视频（mp4 或 webm）。

你无需搭建将语音转写为文本的级联流水线，也无需从视频中拆分音频和图像通道，只需调用一个模型即可跨任意模态做出决策。我们距离一个能够像我们体验世界那样与世界交互的模型又近了一步——通过音频、视觉和文本交流，全部集于一身。

请查看我们的开发者文档了解全新的 Clef-omni 模型。我们还在 HuggingFace 上以开权重形式发布了该模型。如需快速上手，以下是如何向 Clef-omni 发送新模态输入的方式。

Clef-omni 将我们的开权重决策架构扩展为原生处理多模态工作流。我们基于 Qwen3-Omni-30B-A3B-Instruct 混合专家（MoE）底座构建，该模型本身就能够在单一流水线中直接处理文本、图像、音频和视频。不过，我们采用其主要理解骨干，而舍弃了文本转语音输出组件。在生产环境中，Clef-omni 对整个负载执行一次快速 prefill，同时对所有模态和有效参数选项进行打分。

由于 Clef 模型不是大语言模型（LLM），我们跳过了输出 token 生成，因此消除了对输入文件进行转写或加字幕的开销。媒体元素直接映射到统一序列中，视频和音频与视觉帧同步进行联合处理。然后 Clef-omni 通过我们的两阶段注意力路由，直接从内部嵌入中提取候选值：每个有效选项从输入中收集关键证据（无论它们隐藏在文本片段、视觉元素还是音频流中），随后字段向量在完整上下文上进行交叉注意力计算，以得出置信度分数。我们内置了一个词汇语法来保留选项语义，从而能够跨所有输入类型提供快速、受 schema 约束的打分。

我们使用与训练 Clef 相同的技术来训练该模型——冻结 Qwen3 骨干、训练低秩适配器（LoRA），并应用我们的标准后训练方法：将标签平滑交叉熵损失与 Brier 分数校准相结合。最终得到一个具有韧性、无论 schema 变化、字段顺序和 prompt 结构如何都能成功完成任务的模型。

这为 Clef 模型家族带来了若干核心升级。经过校准的、受 schema 约束的决策现在可以在单次 API 调用中无缝处理文本、图像、音频和同步视频。而且速度很快。纯文本决策的中位延迟约为 130 毫秒，图像输入约为 150 毫秒，音频片段在几百毫秒内完成。即便是带声音的完整 21 秒视频片段，也能在约 1.5 秒内完成打分，全部在单次 API 调用中完成。

我们的基准测试显示，即便引入新模态和 MoE 架构，各基准上的表现依然强劲。

基准测试 Clef-omni Clef Clef-flash Jev BFCL · case exact 98.2 98.47 98.76 95.75 ToolRet · nDCG@10 66.6 69.19 66.43 65.28 API-Bank · accuracy 92.7 91.93 93.11 88.19 Home appliances · case exact 69.3 82.95 97.73 52.27 When2Call · accuracy 63.3 72.37 65.58 80.97 BANKING77 · macro-F1 94.8 94.20 90.93 79.74 CLINC150+OOS · macro-F1 97.7 97.43 66.77 89.27 BRIGHT · nDCG@10 42.0 45.91 39.26 47.52 Amazon ESCI · macro-F1 57.8 57.48 57.39 55.21 PhishNChips · accuracy 73.2 79.60 75.05 62.55

我们还针对 TypeSafe 的评估集进行了基准测试，以展示 Clef-omni 的表现。

工作流 指标 Clef-Omni Clef Clef-flash Jev 发票处理 精确动作 60.2 64.7 57.1 61.8 发票处理 主要动作 82.0 86.2 73.3 83.1 客户服务 精确动作 71.6 76.3 77.0 76.0 安全事件 精确动作 61.7 62.9 61.7 61.7 Agent 追踪可观测性 主要动作 65.8 68.5 69.8 71.6

Clef-flash 模型现在更便宜了

我们听到了你们的反馈——你们想要一个足够实惠、能够融入任何工作流的决策模型。我们做了一些优化，现在能够以更低的价格提供 Clef-flash。我们希望 Clef 能够在你们所有的 agentic 工作流中为你做出可扩展的决策，而现在我们的定价也在激励这一点。

我们成功地将模型优化到 Clef-flash 现在比 Jev 更便宜的同时，仍保持高性能和高质量。请查看开发者文档以随时获取最新定价信息，包括关于图像和音频模态如何转换为输入 token 以进行计价的更多细节。

• Clef-flash – 原价 $0.09 每百万输入 token，现价 $0.038 每百万输入 token
• Clef – 保持 $0.24 每百万输入 token

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）