AREX Feed Article
智源大会披露 FlagOS 2.2 成果：九大算子库覆盖 1,454 个算子，10 款异构芯片性能较上一版提升约 27%
2026 年 10 月 17 日，以“一栈贯通，智算无界”为主题的 2026 人工智能开放计算大会暨众智 FlagOS 技术大会在北京举行。据，智源研究院（BAAI）在会上集中报告了 9 月 30 日发布的众智 FlagOS 2.2 的成果：九大算子库合计覆盖 1,454 个算子，较上一版增加 890 个；在海光、摩尔线程、沐曦、天数智芯、昆仑芯、英伟达、平头哥、燧原、华为昇腾及 AMD 共 10 款异构 AI 芯片、上千个算子的测试范围内，算子性能较上一版整体提升约 27%。大会还首发了含 40 个多芯片算子的 FlagGems-SGLang，以及用于跨芯片权重转换与量化的 FlagOS-Compressor；按智源给出的口径，新模型已能在一天内完成多达 12 款芯片的适配。
智源给出的另一组对照在服务端：在 GLM-5.3-Flash 的实践中，存量昇腾 910B 集群的逻辑服务吞吐达到优化前的约 2.04 倍；在其声明的租赁、缓存与利用率假设下，每百万输出 Token 的场景测算成本较对应商业 API 计费参考低 19.4%～27.6%。需要说明，文中性能与成本数字除特别标注外，均来自上述智源社区文章与合作方的发布口径；沿用的关键数字与之一致。
算子从哪里来：SGLang 专库与 AI 生成的 765 个算子
按智源社区文章的口径，FlagGems 等公开算子由上一版的 564 个增至 1,454 个：FlagGems 本体扩展了线性代数、归约与训练反向接口；首次发布的 FlagGems-SGLang 包含 40 个多芯片高性能算子，覆盖 Attention、Mamba 状态更新、MoE（混合专家）、LoRA、采样与量化，本轮 NVIDIA 测试通过清单覆盖全部 40 个算子；FlagGems-vLLM 则扩展 MLA、KDA/GLA/GDN2、TopK 与低精度计算。
性能提升来自算子与编译器的联合优化。FlagTree 编译器主分支新增 AMD、进迭时空、平头哥等后端；针对 Attention、MoE 和低精度计算，FlagOS 2.2 把 FP8/FP4 存储、在线反量化与高精度累加、算子融合、按输入形状选择执行路径，以及 TLE 布局控制与 FlagTune 自动调优组合起来，减少数据搬运、内核启动和同步等待。智源统计了这 10 家芯片的算子加速比，并将其解读为优化能力正从单点性能突破走向跨芯片、规模化的系统提升。
算子供给的另一条线是 AI 辅助生成。KernelGen 多芯片自动算子生成工具已支持九款 AI 芯片，本季度新增生成 765 个算子，其中 416 个在至少 5 款国产芯片上通过精度验证，并达到对应原生算子 80% 以上的性能。配套的 FlagPrism 调试工具把 Triton 源码、编译器中间表示（IR）与设备执行信息关联起来：Debugger 能深入内核采集中间数据，把数值问题追到具体语句；Profiler 把耗时拆成调用树和时间线，定位到具体执行环节。该工具已支持华为昇腾、天数智芯、摩尔线程、英伟达和燧原，更多后端在接入中。
FlagOS-Compressor 与 Day0 交付：Qwen3.5-397B 权重文件减半
框架接得上芯片，模型还要适配设备。智源解释了这层需求：面对几千亿乃至万亿参数模型，部分存量设备缺少 FP8、FP4 执行能力，而把权重转成 BF16 又会增加存储、可能超出显存容量。FlagOS 2.2 首次发布的 FlagOS-Compressor 按模型结构与目标硬件选择处理方案，按模块选择量化策略、为敏感模块保留高精度，把权重转换、量化、导出与校验组织成统一流程。在算子与框架之间起衔接作用的，是 FlagOS 的统一跨芯插件系统：公共算子与通信能力经由插件接入 vLLM、SGLang 等训练推理框架，以训练组件 TransformerEngine-FL 为例，OpManager 按策略在 FlagOS、厂商或 PyTorch 实现之间做选择，并提供缓存与失败回退。
两个适配案例给出了具体结果。Qwen3.8-2.4T-A95B 走的是从 BF16、FP8 原始权重到 INT8 的路径，面向选定模块采用 W8A8（权重与激活值均用 8 比特），目前已提供平头哥、昇腾和海光等平台的 INT8 模型、配套镜像与部署配置。Qwen3.5-397B-A17B 在 Attention 与 MoE 专家网络上采用 W8A8、视觉编码器保持 BF16 之后，模型文件由 751.41 GB 缩至 382.45 GB，减少 49.1%；量化模型在 GPQA-Diamond 上取得 84.85% 的绝对准确率，并在 NVIDIA H20 与国产 PPU 上完成推理链路验证。
适配速度由 Day0（发布一天内完成适配）衡量。智源称，在过去半年的多次实践中，FlagOS 已实现新模型一天内适配到多达 12 款芯片，随后对适配版本重新测试任务表现，再发布到 Hugging Face、魔搭等平台；报告配图列出的 Day0 支持芯片包括平头哥、英伟达、昆仑芯、海光、沐曦、摩尔线程、天数智芯、燧原、曦望、清微智能、苹果 M4/M5、此芯科技等。智源同时写明：Day0 体现的是响应新模型的速度，具体服务性能仍需结合业务负载继续验证。
存量昇腾 910B 承接 GLM-5.3-Flash：吞吐、时延与成本测算
存量硬件能否承接新模型，是软件优化经济价值更直接的试金石，这是智源报告自己的表述。过去几年，昇腾 910B 已有大量部署，报告给出的依据是：在三台处理输入预填充、一台负责解码生成的 3P1D 部署、共 32 张 910B 的 Agentic 多轮会话回放中，联合优化把逻辑服务吞吐从 8.52k 提高至 17.36k tokens/s；智源注明，该指标包含输入与输出 Token 以及缓存命中的逻辑输入，反映服务承载能力，并非纯输出生成速度。
长上下文测试中，512K 输入场景的生成速度为 60.9 tokens/s，与官方 API 外部测量参考值 61.1 tokens/s 之比约 99.7%，智源注明该比较仅针对生成速度、并非同负载对照。对照厂商基线，256K 输入、8 并发下，冷启动首字时间由 91.44 秒降至 84.03 秒，满载单请求速度由 36.3 提至 53.7 tokens/s；512K 输入、4 并发下，首字时间由 279.28 秒降至 199.63 秒，满载单请求速度由 43.2 提至 60.9 tokens/s。
成本测算的前提写在表前：每台 8 卡 910B 月租 16,500 元、3P1D 部署、93% 缓存命中率、解码侧满载。在此假设下，每百万输出 Token 及其对应输入的场景成本如下：
| 场景 | API 计费参考 | FlagOS 部署成本估算 | 成本降低 |
|---|---|---|---|
| 256K 输入／8 并发 | 73.55 元 | 59.27 元 | 19.4% |
| 512K 输入／4 并发 | 144.31 元 | 104.53 元 | 27.6% |
两个长上下文场景的测算成本均低于对应 API 计费参考。智源认为，这让企业可以先评估软件优化能否让现有硬件继续承担服务，而不必把模型升级与整批硬件换代绑定；具体部署仍需结合业务负载、时延要求和完整运营成本判断。
DeepSeek V4.1 Flash 跨平台对照：H100 提速约两成，平头哥 810E 提速逾八成
在 DeepSeek V4.1 Flash 上，智源社区以 SGLang-Plugin-FL、FlagGems、FlagGems-SGLang、FlagTree 与 FlagCX 组成优化栈，分别在英伟达 H100 和平头哥 810E 上测试。英伟达侧的配置是两台各 8 张 H100 80 GB 的服务器、1P1D、W4A16/FP8：在 128K 输入、最多 8K 输出、开启 DSpark 缓存命中的 Coding 任务中，32 路并发下每请求解码速度增加 31.7 tokens/s（提升 19.7%），64 路并发下增加 21.9 tokens/s（提升 18.0%）；报告配图还标注 64 路并发理论总吞吐约 9,190 tokens/s，称其 Token 成本“具备商业 API 竞争潜力”。
平头哥 810E 采用每节点 16 张 96 GB 卡、1P1D、W8A8，对照对象是该平台的 SGLang 原生路径：24 路并发下每请求解码速度增加 57.2 tokens/s，提升 83.1%；48 路并发下增加 40.2 tokens/s，提升 91.5%。报告配图称 810E 推理性能提升 83%～91%，并实现了 16 路并发可用。
合作案例：星辰大模型回馈 12 个算子，软通动力压低 p50 时延
中国电信星辰大模型展示了另一种协作方式：模型企业既使用公共能力，也回馈自己的实现。推理侧，Xing4.0-29B-A4B 已完成 10 款芯片平台的适配、精度对齐和部署验证，其中八款采用标准适配，苹果 M5 Pro 与此芯 P1 采用 W4A8 端侧量化；团队完成 12 个推理算子的迭代替换，并将算子开源至 FlagGems 与 vLLM 主仓。在所展示的高并发、长输入测试中，相比英伟达原生算子实现，首 Token 时延降低 19.87%，解码速度提高 26.32%。训练侧，中电信人工智能科技有限公司把 FlagGems 接入基于 MindSpore、CANN 和昇腾 NPU 的训练体系，mHC、TopK 等训练算子完成全链路调试和端到端训练效果验证，MindFormers 集成 FlagOS 的工作已开源合入。
软通动力的案例发生在服务平台上。其天元智算混合云服务平台接入 FlagOS 的算子、编译、通信与训推框架能力，双方在四台昇腾 910C 服务器上（Prefill 与 Decode 各两台）联合优化 GLM-5.2，对比五项改动全部关闭与全部启用后的低并发时延：服务端 p50 ITL（Token 间时延）由 68.96 ms 降至 58.94 ms，客户端由 68.97 ms 降至 58.95 ms，均降低 14.53%；反映长尾等待的 p99 ITL，服务端由 83.82 ms 降至 66.35 ms（降低 20.84%），客户端由 138.56 ms 降至 118.73 ms（降低 14.31%）。智源注明，该测试与 910B 上的 GLM-5.3-Flash 测试分别进行。
生态数字与智源自己写明的限定条件
社区规模是这次报告的另一组数字：截至第三季度，FlagOS 生态成员单位达 107 家，季度社区下载量 464,336 次，为第二季度的 4.76 倍；从 2.1 到 2.2，合并 PR 数从 1,890 增至 4,890，代码提交从 5,100 增至 9,730，新建 Issue 从 420 增至 1,423，代码贡献者 264 位、增加 55%。FlagOS 持续与 PyTorch、Triton、vLLM、SGLang、Megatron、TransformerEngine、VeRL 等上游社区协作维护接口与实现。国际合作方面，联合国“开放计算工作组”（Working Group on Open Compute for Research, Education and Innovation）已于 9 月 28 日获批成立，首次会议计划于 11 月 APEC 期间举行；全球 AI 算力师资发展计划第二期在联合国开发计划署（UNDP）支持下与非盟 ASRIC 联办，汇集了 30 多个国家的近 50 位高校骨干教师。
报告文末给出了智源自己的路径判断：把面向新模型的算子、编译、量化和系统优化沉淀为可复用的公共能力，通过统一接口交付给不同芯片，再在真实模型与服务负载中不断验证收益。同一份材料也写明了各条结论的边界：GLM 与 API 的速度比较仅针对生成速度、并非同负载对照，Day0 的适配速度不等于目标硬件上的服务性能，成本对照则只在声明的租赁、缓存与利用率假设下成立。成本一栏是测算值而非实测值：换一套租金、负载或缓存命中率，结果就要重算。