AI资讯

Ai2 开源 AstaBrief 8B 报告生成模型

Ai2 开源 AstaBrief 8B 报告生成模型

来源Hugging Face Blog查看原文

速览

  • Ai2 开源 AstaBrief 8B,专用于生成带引用的科学报告,基于 Qwen3-8B。
  • 训练走 SFT + DPO 路线,刻意避开不稳定且昂贵的强化学习。
  • SFT 用 90K 真实查询筛出 47K 样本,DPO 用约 6K 偏好对。
  • Fast 模式每份报告 51.1 秒,Thinking 模式 178.5 秒,约快 3.5 倍。
  • 模型一次成稿,跳过片段摘要与聚类,且未牺牲性能。
  • 数据过滤中,引用密度这一简单信号带来的增益最大。
  • 374 名试用者中 23% 用 Fast 模式后不再切回 Thinking 模式。
  • 人类评测整体偏好 DR-Tulu 胜出,但引用准确性上 AstaBrief 更受青睐。
  • 权重、训练数据与示例工作流一并开源,支持机构本地部署。
  • Ai2 承认评测基于 2025 年模型,未与当前前沿模型重跑对比。

Allen Institute for AI(Ai2)开源了 AstaBrief 8B,一个专门用于科学报告生成的模型,基于 Qwen3-8B 训练,采用 SFT 加 DPO 的路线,把研究问题和检索到的文献片段直接生成带引用的报告。该模型已作为 Asta 平台「Generate a report」功能中的 Fast 模式上线,与 Claude 驱动的 Thinking 模式并存。Ai2 称,在完整的 Asta 流程中,Fast 模式平均每份报告耗时 51.1 秒,Thinking 模式为 178.5 秒,约快 3.5 倍。Ai2 同时开源了模型权重、训练数据和一个示例工作流,机构可以自行部署,包括部署在自有防火墙内。

关键事实

  • AstaBrief 8B 基于 Qwen3-8B 训练,输入研究问题与检索到的文献片段,输出带引用的报告。
  • 训练采用监督微调(SFT)加直接偏好优化(DPO),未使用强化学习路线。
  • SFT 数据来自 90K 条真实科研查询,经质量过滤后得到 47K 条可用训练样本。
  • DPO 数据约 6K 条,由 GPT-4.1 与 DeepSeek-R1 两个评判模型对比打分,仅保留双方一致的偏好对,与人类偏好一致率为 95%。
  • 在完整 Asta 流程中,Fast 模式平均每份报告 51.1 秒,Thinking 模式 178.5 秒,约快 3.5 倍。
  • 主要评测集为 SQABench-CS2(200 条用户撰写的计算机科学研究问题),另用 DeepScholarBench(63 条查询)做二次评测。

本站视角

对国内做科研工具和 Agent 的团队来说,AstaBrief 的价值不在「又一个开源 8B」,而在它把一条可复现的工程路线摊开了:用真实用户查询而非合成 prompt 做 SFT 数据,用两个评判模型交叉打分构造 DPO 偏好对,再用引用密度这类简单统计量过滤训练样本。这套方法不依赖强化学习,算力和调试成本都低得多,中小团队可以直接借鉴。对高校、研究所和药企研发部门而言,开源权重意味着可以把报告生成放在自有防火墙内跑,处理未发表或敏感课题时不必把数据交给闭源 API,这是采购决策里的硬需求。对用 API 的中小企业和内容平台,3.5 倍的速度差直接对应成本差,Fast 模式 51.1 秒出稿也改变了交互形态——可以先出初稿再迭代,而不是等两分多钟拿一份成品。 我们的判断是:这是一次扎实的工程开源,但不是能力跃迁。Ai2 自己在文中反复强调,大部分训练与评测在 2025 年完成,对比的是当时的 Claude 3.5/3.7 Sonnet、o3、o4-mini、GPT-4.1,没有针对当前前沿模型重跑评测,因此「接近 Claude 驱动流程」这个结论只对当时成立。更值得注意的是人类评测的结果:14 个问题、3 位研究者,整体偏好上 DR-Tulu 胜出,AstaBrief 只在引用准确性上拿到 2 比 1。样本量这么小,Ai2 也承认反馈稀疏、难以得出强结论,所以 84.2% 对 85.2% 的好评率差异基本没有统计意义。 需要观察的是两点。第一,AstaBrief 在 DPO 阶段就是针对成对报告排序优化的,而 DR-Tulu 不是,这让它在偏好类指标上占便宜,跨系统比较时要留意这个不对称。第二,Ai2 自己指出当前评测只看「引用是否支撑该论断」,没有测「论断是否放大了证据范围」——把特定样本的发现说成普适结论、把过去时结果改成现在时、把描述性发现写成政策建议,这些才是科学写作里最危险的失真,而现有指标抓不到。谁能先把这层评测做出来,谁才真正解决了科研场景的信任问题。

背景与影响

Asta 是 Ai2 面向科研工作的 agentic 平台,其「Generate a report」功能此前由 Claude 驱动的多步 ScholarQA 流程支撑,即 Thinking 模式。科研场景对模型的要求与通用聊天机器人不同:答案必须锚定证据,不能悄悄放大研究结论,且研究者需要能核验输出。Ai2 在分析数十万条 Asta 查询后发现,科研人员往往给出大量上下文、多重约束和概念间关系,而非简短关键词。此前 Ai2 的 DR Tulu 工作已显示,基于强化学习的方法能改善开源权重模型的长文报告生成,尤其当评判模型参与训练循环时。但 Ai2 这次选择更简单、更易调试的 SFT + DPO 配方,把重心放在训练数据的生成、筛选与过滤上。AstaBrief 是 Ai2 在 NSF OMAI 这一由 Ai2 牵头的美国国家级开放 AI 基础设施与科学模型计划下,面向科学工作负载适配开源模型的一环,后续还计划探索更细粒度的偏好学习、RAG 加 RL、多轮多工具能力、更多科学数据源与查询分解。

本文由 AI 辅助整理自公开信源,事实部分以原文为准;「本站视角」一节为编辑部判断,欢迎指正。版权归原作者所有,如有异议请联系我们。

编辑与审校

AI大海啸编辑部

负责选题、审校与「本站视角」的判断。

编辑流程与 AI 使用说明