How I AI 双集:Meta Muse Wonder 实测——Agent 能力突出但前端设计不可用;创作者 Brooke Lacey 用 Claude Code 15 秒剪完 TikTok
来源Lenny Newsletter查看原文
速览
- Muse Wonder 在同价位 Agent 任务中表现最强,长任务会持续换方法直到达成目标
- 「active focus」被视为真实能力:复杂任务耗时更长,产出质量随之提升
- 账单工单基准可检验 Agent 能否在真实 SaaS 环境里闭环工作
- Claire 愿意让 Muse 代写邮件,风格贴近她两句话的简洁习惯
- Muse 不应被信任做前端设计,输出默认落入通用 SaaS 审美
- 做出 80% 原型与真正完成之间差距巨大,交互阶段是主要失手点
- Muse 的视频剪辑直觉不错,但视觉执行拖累成片完成度
- Brooke 用 Claude Code + FFmpeg + Whisper 把剪辑压缩到约 15 秒
- 剪辑逻辑被写成 TSV 文本,一次拍摄可批量产出多时长与横屏版本
- Brooke 认为创作者必须先懂手艺,才能把判断力教给 AI
Lenny Newsletter 的 How I AI 播客本期包含两段访谈。第一段由 Claire 对 Meta 新模型 Muse Wonder 做了近 20 项真实任务测试,覆盖 Agent 工作流、编程、写作、设计和视频剪辑。结论是:Muse Wonder 在同价位模型中 Agent 能力最强,在账单工单处理、收件箱分诊、computer use 和邮件写作四项上排名第一,长任务中会持续换方法直到达成目标;其「active focus」机制表现为在复杂任务上花更多时间并换来更好结果。但它在原型和视觉工作上全面失手:前端设计默认堆砌粗衬线字体、blurple、圆角和通用 SaaS 布局,ChatPRD 改版任务中无视品牌规范、加入 emoji、破坏图片渲染;原型往往能做出 80% 的脚手架,却在交互测试阶段因按钮失效、主题错误、遮挡层而崩掉。Claire 计划在部分 Agent 工作流中试用它,但不会让它碰前端。第二段是创作者 Brooke Lacey 的自述:她在 TikTok 有超过 29 万粉丝,用 Claude Code 编排 FFmpeg、Whisper 和 Python,把一段手机原始素材在约 15 秒内变成带字幕、跳剪和推拉的竖屏成片,全程不上传素材、不打开传统剪辑软件。她把剪辑参数写进 TSV 文本文件,同一份文件可批量生成 15 秒、30 秒、60 秒版本和横屏裁切版;她还训练 Claude 识别自己的喜剧节奏,并把每条视频的评论区接入 Claude Code 生成新选题。
关键事实
- Claire 对 Meta Muse Wonder 做了近 20 项真实任务测试,覆盖 Agent 工作流、编程、写作、设计和视频剪辑
- Muse Wonder 在账单工单处理、收件箱分诊、computer use、邮件写作四项测试中排名第一,是 Claire 在该价位段测过的最强 Agent 模型
- 账单工单测试中,Muse 修正了账号关联错误、处理了重复退款逻辑、变更客户套餐、起草回复并关闭工单,还抵御了一次 prompt injection
- Muse Wonder 的前端设计能力被明确否定:ChatPRD 改版任务中无视品牌规范、加入 emoji、破坏图片渲染
- 原型任务中 Muse 常能完成约 80% 的脚手架,但在交互测试阶段出现按钮失效、主题错误和遮挡层
- 视频剪辑测试中 Muse 找对了 40 秒片段、选到 Claire 喜欢的音乐、剪点时机接近准确,但叠加层、字幕位置和音频处理不到位
本站视角
对国内做 Agent 产品的团队来说,Claire 的测试设计比结论本身更有参考价值。她用的账单工单基准同时考察账号关联纠错、重复退款逻辑、套餐变更、回复起草和工单关闭,还埋了 prompt injection——这正是企业客户在 POC 阶段真正会问的问题:Agent 能不能在一个有状态、有权限、有历史数据的 SaaS 里把事做完。Muse Wonder 在这类任务上排第一,说明 Meta 在长程任务的目标坚持性上有实质进展,而不只是刷分。但同一模型在前端设计上全面失手,也提醒做 AI 编程工具的团队:生成脚手架和完成交付是两种能力,前者靠模式匹配就能看起来不错,后者需要视觉保真和交互正确性,目前仍是短板。我们认为,把「能生成」当成「能交付」是当下 AI 编程产品最常见的营销包装,Claire 的 80% 说法值得国内团队直接引用。对内容创作者和做视频工具的团队,Brooke 的案例说明真正的杠杆不在模型多强,而在把个人判断编码成可执行的结构化中间层(TSV),这让一次拍摄能批量产出多时长版本。但需要指出,这套流程的可复制性被原文高估了:Brooke 能教会 Claude 她的喜剧节奏,前提是她自己已经知道笑点前该停多久,多数创作者并不具备这种可被明确表述的判断力。另外,两段内容都来自同一档播客、同一评测体系,Muse Wonder 的排名没有第三方复现,读者不宜把它当作定论。
背景与影响
这两段内容都来自 Lenny Newsletter 的 How I AI 播客,形式是主持人与嘉宾的对话式实测与自述,而非新闻报道。Muse Wonder 是 Meta 推出的新模型,Claire 的评测方法值得注意:她没有只跑标准 benchmark,而是把模型放进真实 SaaS 场景(账单工单、收件箱、computer use)里做闭环任务,并额外植入 prompt injection 和多重障碍,这比单项能力打分更接近企业采购时会关心的指标。她同时把 Muse 与 Opus 5.5、Astra、Fable 做了对比,但原文没有给出具体分数,因此无法量化差距。Brooke Lacey 的部分则代表另一条路径:不追求更强的通用模型,而是把已有模型嵌进高度个人化的生产管线。她的关键做法是把「剪辑判断」外化成结构化文本(TSV 的起止时间、景别、标签),再用 Claude Code 调用 FFmpeg 执行,Whisper 负责转写。这意味着她的风格可以被复用和批量生产,但前提是她本人已经清楚什么是好的剪点。她提到自己经历过 Windows 3.1、互联网兴起和 Y2K,这类平台迁移经验帮助她判断当前 AI 浪潮的性质。需要观察的是:这类个人工作流高度依赖创作者本人的审美与调试能力,可复制性有限;而 Muse Wonder 的评测来自单一评测者,结论强度应打折看待。
本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。