Cloudflare 发布 Clef-omni：30B-A3B 多模态决策模型，一次调用同时判定文本、图像、音频与视频
来源MarkTechPost查看原文
速览
- Clef-omni 一次调用即可对文本、图像、音频、视频四类模态输出带概率的类型化答案
- 模型基于 Qwen3-Omni 后训练，冻结主干、训练 LoRA 适配器，训练目标结合标签平滑交叉熵与 Brier 分数校准
- 省去多模态 Agent 流水线中的转写与打标步骤，是它最直接的工程价值
- 意图分类是强项，CLINC150+OOS 97.7 与 BANKING77 94.8 均领先同门与 Jev
- 推理与工作流评测全面落后于 Clef，TypeSafe 的 5 项工作流指标均低于 Clef
- 托管 Clef 迁至 SGLang 后中位延迟降低 1.7 至 2.0 倍，且未发布新权重
- Clef-flash 降价至 0.038 美元，低于 Jev 的 0.042 美元，价格战已延伸到决策模型层
- 所有 benchmark 数据来自 Cloudflare 官方公告，未经第三方独立验证
Cloudflare 于 2026 年 10 月 9 日发布 Clef-omni，这是其 Clef 决策模型家族的新开源权重成员，可在一次调用中对文本、图像、音频和视频打分。模型总参数 30B、激活参数 3B（MoE），基于 Qwen3-Omni-30B-A3B-Instruct 后训练，保留理解主干、去掉文本转语音输出路径，采用 Apache-2.0 许可，在 Workers AI 上以 @cf/cloudflare/clef-omni 提供，输入价格每百万 token 0.15 美元。同一轮更新把 Clef-flash 价格降到 0.038 美元、低于 TypeSafe 的 Jev（0.042 美元），并把托管版 Clef 的中位延迟降低约 1.7 到 2.0 倍。对开发者而言，这省掉了多模态 Agent 流水线里通常需要的转写和打标步骤。但 Clef-omni 的定位并不全面：它在意图分类任务上领先，在多数推理与工作流评测上落后于纯文本的 Clef，GPQA Diamond 只有 47.4，而 Jev 为 78.3。
关键事实
- Clef-omni 于 2026 年 10 月 9 日发布，距原始 Clef 和 Clef-flash 上线 8 天
- 模型为 30B 总参数、3B 激活参数的 MoE，基于 Qwen3-Omni-30B-A3B-Instruct 后训练，Apache-2.0 许可
- Workers AI 上上下文为 64,000 token，输入价格每百万 token 0.15 美元
- 自托管在单张 H200 上测试，bfloat16 下约需 64 GB 显存
- 支持输入上限：4 张图片（每张 64 至 1,024 token）、4 段音频（WAV/MP3，每段 300 秒，约每分钟 780 token）、2 段视频（MP4/WebM，每段 60 秒，每秒采样 2 帧）、每次请求 1 至 64 个问题
- 延迟：文本决策中位约 130 ms，图像约 150 ms，21 秒带声音视频约 1.5 秒
本站视角
这件事最直接的受益者是做多模态 Agent 的中文团队，尤其是需要处理客服录音、商品图、短视频审核这类「判定而非生成」场景的开发者。过去这类流水线通常要串三四个模型：ASR 转写、视觉打标、再交给文本分类器，每一步都有延迟和错误累积；Clef-omni 把这些压成一次调用，文本 130 ms、21 秒带声音视频 1.5 秒的延迟数据，对实时性要求高的场景是有意义的。Apache-2.0 加单张 H200 可自托管，也给了数据不能出境的团队一条路。 但我们的判断是，这更像一次产品线补位，而不是能力跃升。Clef-omni 在意图分类上确实领先，CLINC150+OOS 97.7 和 BANKING77 94.8 都是四个模型里的最高分；可它在推理类任务上退步明显，GPQA Diamond 47.4 对 Jev 的 78.3，家电案例精确匹配 69.3 对 Clef-flash 的 97.73，TypeSafe 的 5 项工作流指标全部低于 Clef。这说明多模态能力是用推理能力换来的，选型时不能只看「支持四种模态」这一条。真正值得跟进的是价格与延迟那一侧：Clef-flash 降到 0.038 美元、托管 Clef 迁到 SGLang 后延迟减半且没有发布新权重，说明 Cloudflare 在用工程优化而非模型迭代打成本战，这对预算敏感、调用量大的团队比新模型本身更有价值。 需要提醒的是，本文所有 benchmark 数字都来自 Cloudflare 自己的 Decision Index 和公告，未经独立验证，而对比对象 Jev 出自 TypeSafe AI——两家在 API 格式上同源、在价格上直接竞争，评测口径是否完全对等需要打问号。POP909-CL 上 2.6 的准确率低到反常，原文没有解释原因，这个数字在引用前最好先确认任务定义。另外，64k 上下文对视频场景偏紧，按官方 tokenization 速率估算，几分钟的 480p 视频就会吃掉大部分预算，长视频场景仍需前置切片。
背景与影响
Cloudflare 的 Clef 系列走的是与主流生成式模型不同的路线：不生成文本，而是接收一个 state 加一份问题 schema，对每个允许选项返回概率，属于「决策模型」。这一 API 形态沿用了 TypeSafe AI 的 Jev 与 SystemOne 设计，因此两者在基准和价格上被直接对比。Clef-omni 是这条产品线在 8 天内的第二次扩张，从纯文本与图像扩展到音频和视频，技术路径是保留 Qwen3-Omni 的理解主干、砍掉语音合成输出，把视频帧与音频同步进单一序列做一次 prefill，再由联合 schema head 对选项打分。这意味着 Cloudflare 想抢的是多模态 Agent 流水线中「判断」这一层，而不是生成层——转写、打标、分类这些环节原本需要串联多个模型，现在被压缩成一次调用。价格与延迟的同步调整也说明竞争焦点正在从模型能力转向单位推理成本：Clef-flash 降到 0.038 美元、托管 Clef 迁到 SGLang 后延迟减半，都是在为高频、低延迟的判定类调用做铺垫。需要观察的是，Clef-omni 在推理类任务上的明显短板（GPQA Diamond 47.4、POP909-CL 2.6）是否会被后续版本补齐，以及 64k 上下文在视频场景下是否够用——按 Cloudflare 公布的 tokenization 速率，480p 带声音视频约每分钟 8,600 加 780 token，长视频很快会触及上限。
本文由 AI 辅助整理自公开信源，事实部分以原文为准；「本站视角」一节为编辑部判断，欢迎指正。版权归原作者所有，如有异议请联系我们。
