AREX Feed Article
Ai2 开源 AstaBrief 8B：开放权重与训练数据，可在本地生成带引用的科研报告
10 月 2 日，Ai2 在官方 X 账号发布 AstaBrief 8B：一个把复杂研究问题与文献摘录转成带引用报告的开源模型（）。帖文称权重与训练数据均已开放，可供检查与继续开发；模型可在自己的硬件上本地运行，下载链接指向 Hugging Face 上的模型仓库 allenai/AstaBrief_8B（）。
同一天，Ai2 在 Hugging Face 博客发布了配套技术文章（），给出了一组具体数字：AstaBrief 已作为 Fast mode（快速模式）上线 Ai2 科研智能体平台 Asta 的 Generate a report 功能，与 Claude 驱动的 Thinking mode（思考模式）并存；在整条报告生成流程中，Fast mode 平均 51.1 秒生成一份报告，Thinking mode 需要 178.5 秒，约 3.5 倍差距。
一次生成整份报告：跳过摘要与聚类步骤
AstaBrief 本身不负责检索：按 Ai2 的说明，它接收的输入是研究问题与已经检索好的文献摘录，输出一份带行内引用的报告；检索环节由外部管线完成（例如 Asta 所用的 ScholarQA 管线）。速度提升来自一次生成：模型直接写出整份报告，跳过 Thinking mode 中给检索摘录做摘要、分组的中间步骤，也不再逐节撰写（）。Ai2 在博客中说，测试下来可以做到不牺牲性能。
据模型卡，AstaBrief 8B 的训练只用到监督微调（SFT）与离线直接偏好优化（DPO）两种方法：从 Qwen3-8B 出发，先做 SFT 得到检查点 AstaBrief-8B-SFT（），再在其上做 DPO，得到最终版本。两张模型卡显示，两阶段训练都在 8 张 H100 上完成：SFT 训练 5 个 epoch、DPO 训练 7 个 epoch（epoch 为完整训练轮次）。
模型卡里还有一条给使用者的提醒：这个检查点是用固定提示格式微调的，推理时如果换用别的提示格式或交互方式，输出可能出现退化或不一致。
训练数据：90,000 条真实查询与 39,500 条 SFT 样本
Ai2 称，对数十万条 Asta 查询的分析显示，科研人员的提问常常带着大量上下文与多重约束，很少是简短的关键词式提问；训练上，Ai2 选择让 AstaBrief 从真实查询中学习，而不是仅用合成提示或基准任务。SFT 数据集卡（）显示，查询取自用户提交给 Ai2 的 OpenScholar 与 Asta ScholarQA 系统的日志（截至 2025 年 6 月），且只保留明确同意数据共享的用户；在剔除 beta 测试者与机器人流量、丢弃过短查询、用 GPT-4o 过滤非英文与非科研请求以及含个人医疗信息的提示之后，剩下 90,000 条查询。
这些查询的报告目标由 Asta 背后的多步 ScholarQA 管线生成，用到的模型包括 Claude 3.5 Sonnet、Claude 3.7 Sonnet、o3、o4-mini 和 GPT-4.1，质量过滤后得到 47,000 条可用样本；Ai2 又按「引用密度」（带至少一条引用的句子占比）剔除低于 0.25 的报告，最终保留 39,500 条用于 SFT。
DPO 的数据构造不同：同一个问题要两份报告，一份来自 ScholarQA 管线（通常由 Claude 3.5/3.7 Sonnet 支持），另一份把同样的检索摘录交给 o3、o4-mini、DeepSeek-V3 或 DeepSeek-R1 生成；再由 GPT-4.1 与 DeepSeek-R1 两个评委模型逐对比较、只保留双方意见一致的对，得到约 6,600 组偏好样本（）。Ai2 称，这两个评委与人类偏好的一致率为 95%。
评测：与 Claude 管线接近，在 DeepScholarBench 上落后
在计算机科学研究问题评测集 SQABench-CS2（模型卡中写作 ScholarQA-CS2）上，模型卡给出三档模型的对比：基础模型 Qwen3-8B 平均分 77.3，SFT 检查点 83.7，最终的 AstaBrief 8B 为 87；引用精确率（每条引用是否支持所附主张）从 76.2 提高到 90.5（SFT 检查点为 87.7），引用召回率从 64.6 提高到 78.2。
在 SQABench-CS2 上，LLM（大语言模型）评委的成对评比显示，AstaBrief 对 Claude 驱动的 Thinking mode 的胜率为 55%（开发集）和 72%（测试集）；作为对照，Ai2 此前的相关工作 DR-Tulu 为 36% 和 54%。但在 DeepScholarBench 上，AstaBrief 平均 53.50 分，低于 DR-Tulu 的 56.26 分与 Thinking mode 的 60.25 分。
Ai2 还做了一次小规模人类研究：共 14 个问题，3 位科研人员各出 4～5 个，在总体偏好上 DR-Tulu 胜出，但 3 人中有 2 人在引用准确性上更偏好 AstaBrief。
这些数字都出自 Ai2 自己发布的模型卡与博客。博客明确说明：大部分训练与评测完成于 2025 年，当时用于生成训练数据和做对比的专有模型代表的是当时的前沿水平，团队没有针对今天的前沿模型重跑评测，因此这些结果应被读作对当时训练与系统设计选择的验证。
374 名早期用户与本地部署场景
AstaBrief 在 Asta 里的早期使用数据也被写进了博客：374 名尝试过 Fast mode 的用户中，29.1% 使用了两天以上；用户平均生成 3.67 个报告线程；23% 的用户此后不再切回 Thinking mode；另有 18% 视任务在两种模式间切换，其约 40% 的线程用 Fast mode。Fast mode 的正面反馈率为 84.2%，Thinking mode 为 85.2%；博客同时说明，反馈总体仍然稀疏，不足以据此得出强结论。
Ai2 称，开放权重让机构可以把模型部署在自有基础设施上，包括自己的防火墙内，不必依赖专有模型 API；在研究问题涉及敏感或未发表内容时，这一点是必要的。权重以 Apache 2.0 许可发布，两个训练数据集则采用 CC BY-NC 4.0 许可；模型卡注明其面向研究与教育用途，需遵循 Ai2 的 Responsible Use Guidelines。
除权重之外，Ai2 还放出了一个可改造的示例工作流，供研究者用自己手里的 PDF 生成报告（），该模块的实现正是「用一次生成替代摘录抽取与聚类」。Ai2 称，Asta 的报告生成是 AstaBrief 的首个生产用例。
未解决的问题：引用正确，结论范围可能被放大
按 Ai2 在博客中的说法，AstaBrief 的开发指标集中在相关性、内容覆盖与引用支撑上，但引用成立不等于论述忠实：报告可以给每句话都配上真实存在的引用，却把只适用于特定样本的发现写成对整个总体成立的结论，把过去时的结果改写成像普遍成立的现在时，或者把描述性发现写成给临床医生、政策制定者和科研人员的建议。博客说，这类泛化对科学报告生成尤为重要，因为每一步都可能在不出现明显虚假陈述的情况下，放大证据呈现出的范围。
Ai2 表示，接下来要探索更细粒度的偏好学习、更强的 RAG + RL 方法（检索增强生成与强化学习结合）、多轮与多工具能力、更多科学数据源与查询分解；它还把一项超出「论断有没有引用支撑」的评估列进了「还有更多要做」的清单，要回答的是报告是否保留了来源论断的证据范围。