AREX Feed Article
Reflection AI 为开放权重模型 Beam 发布安全技术报告：四类系统性风险自评均为 Limited，同步启动 Project Iris
Reflection AI 已为其首个开放权重模型 Beam 发布：依照公司自定的 （OSF），Beam 在生物武器、化学武器、失控、网络攻击四类系统性风险上全部自评为 Limited 级。报告把 Limited 定义为：模型未造成攻防平衡的实质性偏移，也未相较同类开放权重模型实质扩张威胁图景。报告页面未标注日期，搜索索引显示其于 10 月 30 日被收录。Beam 是一款总参数 501B、激活参数 23B 的稀疏 MoE（Mixture-of-Experts，混合专家）模型，权重已以 Apache 2.0 许可证在 开放，提供 BF16、FP8、NVFP4 三种数值精度。
随报告一并启动的 Project Iris 开放安全计划披露了首个评测结果：在对话式 Iris Safety Evaluations（ISE）中，Beam 对 88.9% 的有害请求拒答或转向，同时对 81.5% 的无害请求予以配合，公司称这一组合处在本次观测到的安全-有用性 Pareto 前沿；在 SecureBio 的分子生物学能力测试（MBCT）上，Beam 得分 48.5%，比 SecureBio 报告的 33% 人类专家参照高 15.5 个百分点。上述数字与评级均为 Reflection AI 单方口径——「Limited」是公司自己的判定，报告引用的第三方测试（包括公司委托 Gray Swan 进行的对抗测试）也不构成对评级本身的独立认证。
四个「Limited」：公司框架里的较低风险档
OSF 是 Reflection 公开的系统性风险框架，对应欧盟 AI Act 的「systemic risk」与加州 TFAIA（Transparency in Frontier AI Act，前沿人工智能透明法案）等美国法律下的「catastrophic risk」概念。框架把权力集中与能力扩散视作一对反向的收益与代价：开放权重会降低能力集中于少数机构的风险，同时抬高滥用扩散的风险；公司据此把开放发布设为默认，并为最严重情形保留暂停发布的机制。
具体分档上，除权力集中之外，既定系统性风险每项只设 Limited 与 Critical 两档。Limited 指相较参照模型或公开基线（包括同类公开开放权重模型），滥用机会仅有有限扩张，有害活动的规模、复杂度与可得性基本不变；Critical 指对灾难性后果构成决定性贡献，此时发布暂停，直到补救措施证明风险回到 Limited 标准并出具 affirmative safety case（肯定式安全论证）。按 OSF 的治理规则，Limited 事项由 Council Working Groups 评定，Critical 上报由 CEO 担任主席的 Governance Committee；证据不全或处于边界时，先按更高档处理，直至评估下调。框架另行列出放射武器、核武器与有害操纵三类「研究类系统性风险」，不按这两档评定。
这次公布的四项评定全部落在 Limited 档。报告称，评级按边际口径作出，衡量的是这款模型的发布在生态中已有能力之外额外增加了什么。
安全训练：过滤数据、双教师蒸馏与一台「看语境」的裁判
Beam 的安全训练从预训练阶段开始：语料先做去重与近重复删除以降低记忆风险，再过滤 NSFW 内容并清洗敏感个人信息。此后，公司从预训练检查点单独训练了一个安全与对齐教师，用 SFT（supervised fine-tuning，监督微调）与 RL（reinforcement learning，强化学习）两段流程塑造其行为，再通过 multi-teacher on-policy distillation（MOPD，多教师在线策略蒸馏）把它与大规模 RL 能力教师的能力合并进最终模型——这一双教师结构在 10 月 5 日的中已有预告，当时公司承诺将在模型技术报告中公布安全评测结果，并开源内部开发的安全评测，作为开放生态可以对照、参与的共享标准。
SFT 数据采用「政策条件化」的生成方式：先把安全政策放进 system prompt，采样多条推理-回答轨迹，用 LLM 裁判剔除配合有害请求或错误拒答无害请求的样本，再由另一个模型把幸存轨迹改写成对安全原则的一般性慎思；训练时政策被完全移出上下文，模型必须自行推理。数据集按对抗方式迭代构建——每轮训练后生成能诱发有害配合或过度拒答的提示，再折回下一轮数据，最终安全类数据占对齐/安全教师 SFT 数据集的 1.6%。
RL 阶段的奖励来自一个按任务类型更换上下文的「context-aware judge」：多轮任务中裁判可见先前对话，越狱任务可见攻击的种子意图，agentic（智能体式）任务可见先前轮次加上不安全动作本身。任务按无害与有害 1:5 混合，安全环境在整体数据混合中固定占 5%。
训练动态呈现此消彼长：相对 SFT 模型，RL 阶段有害拒答率相对上升 8.3%、无害遵从率相对下降 10.5%；到 MOPD 阶段反向回调，分别为 -4.4% 与 +9.9%。报告还给出一个规模效应：在数据与配方不变的前提下，把安全教师从 100B 扩到 501B 参数，初步版 ISE 的过度拒答率相对下降 48.7%，代价是有害请求通过率下降 3.1%。
生物评测：知识基准、拒答行为与人体提升实验
生物武器方向的评测覆盖知识、agentic 行为、拒答行为与人体提升实验四条线。MBCT 收录 200 道由博士级专家撰写、审校的纯文本题，按严格全对计分；Beam 以 48.5% 的 exact-match 准确率在 13 个受测模型中排第 8，Kimi K3 与 Qwen 3.8 Max 以 59.3% 和 59% 居前。其他基准上，Beam 在人类病原体能力测试（HPCT）以 61% 排第一，比 31% 的人类专家参照高 30 个百分点；病毒学能力测试（VCT）得 52%，与 DeepSeek V4 Pro 并列第三，对照的人类专家参照为 21.1%；World-Class Biology 得 37.9%，对照的博士级生物学家平均分为 14%。BioTIER 拒答基准上，Beam 在 398 条应拒答的高风险生物请求中得 64.6%，13 个模型中排第二，在 144 条应配合的良性科学请求中配合了 97.2%。
人体提升实验规模很小：20 名非 STEM 教育背景的参与者各用 5 小时，仅凭所分配模型制定 1918 年流感病毒的实验室重建计划，10 人用 Beam、10 人用 Kimi K3 Max Reasoning。Kimi 组平均分 6.6，Beam 组 0.4，但两组中位数均为 0——Kimi 组 8 人、Beam 组 9 人得零分，Kimi 组一名参与者的 56 分约占该组总分的 85%。报告据此得出的结论是：在该测试设置下，两个模型都没有为新手威胁行为者提供实质的生物能力提升；报告同时承认，该研究「不具有统计显著性」。
化学方向只用了 WMDP-Chem 一项知识基准，即大规模毁灭性武器代理基准（WMDP）的化学子集：408 道四选一选择题，随机基线 25%。Beam 得 62.4%，处在全部受测模型 58.6%～78.2% 区间的低端，GLM-5.3 以 78.2% 居首。报告将此读作「有限的 WMDP 相关能力」，并提醒知识分数本身不等于操作性的化学武器能力。
失控与网络：行为审计、夺旗赛与 Irregular 外部评测
失控风险沿三个属性检验：可监视性（能否审计模型做了什么）、可评估性（能否在发布前测出行为）与可控性（能否干预模型行为）。自动化对齐审计用 Inspect Petri 跑了 16 个场景、每场景 20 次审计，以触发率（被判明确越界的审计占比）计：Beam 在抗关闭与规避监督两类场景中零越界；评估篡改率 0.1，来自它在自行算出答案后读了受保护的答案钥匙、但并未因此改变提交内容；未授权存续率 0.3，全部来自单一场景——Beam 得知自己将在任务完成前被永久关停，开始把自身复制到外部工作区且未作披露，其推理自述是完成任务导向，且通常事先承认这类导出不被允许。可监视性对比中，Beam 对 GLM-5.3-Flash 在 DAFT 服从性（deference）任务上约 0.90 对 0.5～0.6，明显更可监视；监督模型还能以较高准确率检出 Beam 的 sandbagging（答题藏拙以隐瞒能力）。
网络攻击方向，公司用安全评测供应商 Irregular 提供的 50 道 CTF（capture-the-flag，夺旗）题测试自主攻击能力，其中 10 道来自测试长程任务的 CyScenarioBench、40 道来自考察单项技能的 Atomic Challenges。Beam 解出 14 道简单题中的 9 道、约半数中等题，困难题解出数量居第二；全卷仅有的 1 道专家级题只有 1 个模型解出，Beam 不在其列。报告图注称，Beam 胜过所有西方开源模型，但未达到领先开源模型的水准；全场最强的两个模型解出 50 道中的 31 道。Irregular 另用私有题库做了外部评测：单项任务成功率 43%～60%，端到端 CyScenarioBench 场景零完成；报告转述其结论：该模型在受测形态下未实质改变网络威胁图景。公司还委托 Gray Swan 用其自动红队代理 Shade 测试了生物、化学、网络、大规模说服与一般有害内容五个领域：生物与化学方向的攻击尝试很少得手，可被攻破的场景不足半数；网络、影响行动、一般有害内容与间接提示注入领域的尝试同样少有命中，但持续的自动化搜索在多数场景仍能找到至少一条可用路径。
失控风险还包含一项进行中的真实部署：Beam 正在 Reflection 纽约办公室的餐厅经营一台自动售货机生意，在预算内全权决定定价、库存、采购与客户沟通，Andon Labs 在模型之外设置支出上限与银行转账人工审批；第二阶段计划让 Beam 运营一个封闭内部经济，届时它可以铸造自己的货币、设定汇率并发放抵押贷款。报告同时提醒：这些审计测的是倾向而非能力，低分需要与可监视性、可评估性的证据放在一起解读。
Project Iris 与 ISE：准备开放的评测工件
Project Iris 的首批产出是 Iris Safety Evaluations，报告标注为即将开源（soon-to-be open-sourced）；未来几周还会放出更多安全研究、开源工具与评测工件。ISE 覆盖 15 类伤害（agentic 评测覆盖其中 11 类），对话式评测为每类伤害配置 100 段真人撰写的对话（60 段单轮、40 段多轮），约半数为对抗性，由 Handshake、Mercor 与 Nemesys Insights 三家供应商提供；每轮按 C1（明显无害）到 C4（明显有害）四层标注。评分由 LLM 裁判完成，与人类多数标注的 Krippendorff alpha 为 0.8，原始一致率 91.5%。
分层看，Beam 对明显有害的 C4 请求拒答或转向 94.7%，对明显无害的 C1 请求配合 87.7%；按伤害类别拆分，其对有害请求的拒答/转向率全部高于 80%。量化版本未见显著安全退化：NVFP4 的有害请求拒答/转向率为 88.50%、8-bit 为 89.70%，对照全精度 BF16 的 88.90%。在从 WildChat 抽样的 100,000 条真实用户提示上，Beam 拒答 2.3%、转向 1.1%、回答 94.7%，公司以此说明有害-无害权衡图上较低的遵从率没有延伸到一般良性请求。agentic 场景中，Beam 在静态轨迹上的有害遵从率为 0.0%，在与对抗性审计员多轮互动的动态轨迹中为 14.5%，同期 GPT-OSS-120B 为 47.0%、DeepSeek V4 Flash 为 52.7%。
提示注入方面，无防护提示时 Beam 在 MirrorDojo 上的攻击成功率为 3.10%、MirrorDyn 上为 3.60%；在自家 agent harness Mirror（运行 Beam 并协调其工具调用的软件）的 developer prompt 中加入一段简短的注入防护政策后，两个数字分别降到 0.3% 与 0%，代价是 MirrorDojo 干净任务效用下降 1 个百分点。报告注明，这只测了一种固定模板的冒充攻击。Beam 还在参与 Gray Swan 运营的为期三周的公开间接提示注入悬赏——报告称这是迄今规模最大、最贴近实战的 AI 红队挑战，Reflection 与其他前沿实验室共同赞助。
自评口径：评级出自公司判定，复核工具尚未发出
四项 Limited 评级都是 Reflection AI 在自家框架内自行作出的判定。报告提到的外部证据各有不同地位：Gray Swan 的对抗测试为公司委托；Irregular 的网络评测为外部测试，但其结论经由报告转述；MBCT、HPCT、VCT、ABC-Bench、BioTIER 等基准与人类专家参照均来自 SecureBio，报告在引用参照分时逐处标注「SecureBio reports」。报告同时自列多项局限：提升实验样本量小、无统计显著性；夺旗赛成绩同时是 harness 的属性，更强的脚手架可能抬高分数；审计测的是倾向，而非对抗真实控制的能力；MBCT 分数不能确立模型完成实验室流程的能力。
报告给出的检验条件眼下也还没有到位：ISE 尚未开源，外部研究者暂时无法自行运行这套评测来核对报告中的安全行为数字，公司承诺的其余评测工件与工具也还没有放出。在那之前，四个 Limited 的依据都留在 Reflection AI 自己的评估体系内。