AREXOpen in interactive Feed

AREX Feed Article

智源研究院联合逆矩阵、北京大学与 vLLM 发布 PhysisServe,自报 33B 世界模型单路输出延迟 4.1 毫秒、最高 3,900 Hz

November 6, 2026

2026 年 10 月 15 日,智源研究院在,宣布联合逆矩阵、北京大学与 vLLM 推出物理 AI 推理系统 PhysisServe,并称其为首个兼顾模型智能与高频吞吐的物理 AI(Physical AI)推理系统。帖文给出的核心数字是:在五个未经剪枝、压缩或量化的世界模型骨干上,按单阶段单卡配置,单路输出延迟收敛到 1.9~7.6 毫秒;其中 33B 参数的 MiniMax H3 实测每 4.1 毫秒输出一个分块(chunk),约合每秒 245 个 chunk——用作动作条件世界模型约合每秒 1,000 帧,用作世界动作模型最高约 3,900 Hz。

这组数字均为发布方自报口径,未经独立验证。署名 Physis AI Infra Team 的于 10 月 12 日先行发布在 physis-ai.com,代码已在 开放,仓库链接了五个模型的 Hugging Face 权重。

原始测量:五个骨干最短输出延迟 1.895~7.547 毫秒

评测覆盖动作条件世界模型(Action-Conditioned World Model,ACWM)与世界动作模型(World Action Model,WAM)常用的五个骨干:Wan2.1 1.3B、Wan2.2 TI2V 5B、Wan2.1 14B、LTX-2.5 22B 与 MiniMax H3 33B,权重未经剪枝、压缩或量化。按技术报告的原始测量,五个模型的最短输出延迟为 1.895~7.547 毫秒,帖文取 1.9~7.6 毫秒;MiniMax H3 的原始值为 4.083 毫秒。

两套换算口径都来自报告:按 ACWM 的输出口径,每个 chunk 解码 4 帧,245 个 chunk 对应约每秒 1,000 帧;按 WAM 的输出口径则约合每秒 3,900 个控制步,或每秒 120 个 action chunk(动作分块)。报告明确说明,这些频率是对实测 DiT(Diffusion Transformer)吞吐量的换算,并非实测的闭环控制频率;MiniMax H3 的 4.1 毫秒在 200 张 GPU 上测得,不包含 VAE(变分自编码器)解码。MiniMax H3 有 50 个 Transformer block(层块)、4 步去噪,200 个 stage(阶段)恰好每个独占一张卡。

在这组测试里,输出延迟并不随参数量单调增加:33B 的 MiniMax H3 输出间隔短于 1.3B 的 Wan2.1。报告把模型间差异归因于 block 计算量、chunk token 数、历史长度和通信开销,而不是参数量本身。

把流水线切到「某一去噪步上的某一层」

自回归去噪与 LLM 逐 token 生成同属自回归,区别在后一次输出要不要等前一次算完。LLM 每个 token 都必须等前一个 token 走完全部 Transformer block,输出频率被单个 token 的计算延迟锁死;自回归去噪则以 chunk 为单位生成连续帧——每个 chunk 从纯噪声出发,经若干去噪步逐步变清晰,后一个 chunk 不必等前一个完全去噪,读取前一个 chunk 在当前去噪步留下的带噪 KV cache(键值缓存)就能执行自己的去噪步,相邻 chunk 前后错开、相互重叠。报告据此把「输出延迟」定义为连续完成的 chunk 之间的稳定态间隔,而不是对新输入的响应时间。

PhysisServe 的切分粒度是 stage:某一去噪步上的某一 Transformer block。以两个去噪步、四个 block 的模型为例,系统拆出八个 stage、映射到八张 GPU;单路可用的 GPU 数量扩展为去噪步数与 block 数的乘积,稳定态输出延迟由最慢 stage 的计算时间决定。增加去噪步数或模型深度,主要增加流水线深度与所需 GPU 数量,不再直接压低输出频率——这是它与现有方案的分界。工程实现上,KV cache 始终留在本卡,跨卡只传 hidden state(隐状态),下游 GPU 把收到的 hidden state 缓存一个流水线间隔再使用,让传输与计算重叠,GPU 之间不设全局同步。

一张卡轮流跑多个 stage,一个卡池服务多路

极限延迟只出现在每个 stage 独占一张卡的配置里。报告的第二层设计是把 stage 与物理 GPU 解耦:不同 stage 计算耗时不均,固定的一卡一 stage 映射会留出空闲;一张 GPU 在不同时间片轮流执行多个 stage,并把同一 block 上来自不同 chunk 的任务合并成 batch(批次),摊薄权重加载和 kernel(核函数)调度的固定开销。按报告的单流实验,单卡运行 Wan2.2 5B 时,单流 SLO(服务等级目标,以实测 chunk 输出延迟计)从 173 毫秒降到 98 毫秒,约降 43%;双卡运行 Wan2.1 1.3B 时,从 187 毫秒降到 139 毫秒,约降 26%。MiniMax H3 在 1 卡、2 卡配置下因显存不足未完成测量。

多路共享交给虚拟 rank(virtual rank):每条流在各 stage 上的计算任务与运行状态封装为一个虚拟 rank,再映射到物理 GPU。新流到达时,调度器按 Best-Fit 加 Limited Discrepancy Search 选择放置位置,只有整条流放得下、且单独运行时能满足 SLO 才接纳,已运行的流不迁移。在单独的 24 卡配置、SLO 1,600 毫秒下,均分卡组与联合调度的已验证并发路数对比为:Wan2.1 1.3B 12→39 路,Wan2.2 TI2V 5B 24→46 路,LTX-2.5 22B 8→18 路,MiniMax H3 33B 6→10 路,四个模型提升 1.7~3.3 倍;Wan2.1 14B 反而从 24 路降到 18 路。报告把差异归因于显存与计算余量:余量大的模型可回收空间大,接近单卡容量上限的模型收益有限。

报告口径下的对比:从每秒十几帧到千赫兹

按报告引用的口径,物理任务对频率的要求分层:语义规划层通常低于 50 Hz,动作与伺服层可达数百赫兹,人形机器人在仿真训练中为准确模拟与环境的接触,仿真频率可达数千赫兹。而公开的大参数实时模型慢得多:LingBot-World 用约 28B 参数的 MoE(混合专家)结构(每步激活约 14B),输出 16 FPS(每秒帧数);MAGI-1 为 24B,在 24 张高端 GPU 上约 0.98 秒生成一个 24 帧的 chunk,约合 24 FPS。WAM 一侧,DreamZero 14B 约以 7 Hz 生成 action chunk;LingBot-VA 2.0 约 15.3B 训练参数(每 token 激活约 2.5B),生成延迟 142 毫秒/chunk,约合 7.0 chunks/s、峰值异步控制频率 225 Hz;能以 1 kHz 输出关节级指令的 Figure S0 只有 10M 参数。报告据此判断,高频仿真与底层控制要求的频率,与现有大参数模型实际能提供的频率相差约两个数量级;帖文则称 PhysisServe 比已有前沿方案快一到两个数量级。

报告对比的两个此前方案各有粒度上限:Wave Forcing 按去噪步切分,每张卡持有完整模型、负责一个去噪步,输出延迟不短于完整模型前向一次的时间;StreamDiffusionV2 按 block 切分,一路最多用到与 block 数相同的卡,且去噪步越多、合进 batch 的计算越多。报告同时提醒,各方案公开数字在硬件配置、计时范围(是否包含 VAE)和优化设置上存在差异,对比图只用于比较输出频率的数量级与趋势:实心标记是统一口径的自测值,空心标记取自各方案公开报告。

报告写下的边界:响应延迟与带噪 KV cache

「首个」的具体口径在报告里写得更窄:「据我们所知,PhysisServe 是首个让 30B 级参数的自回归扩散模型以不足 10 毫秒的 chunk 间隔持续输出、并支持多路高频任务共享同一组 GPU 的推理系统」。帖文所称的「首个物理 AI 推理系统」是发布方自己更宽泛的表述。帖文还预告,智源研究院联合逆矩阵未来几个月将陆续发布同一问题下的思考与技术成果,PhysisServe 是这一系列从基础设施切入的第一篇。

代码现状可以核对:GitHub 仓库在 10 月 19 日仍有更新,开放了推理引擎、基准脚本,并链接五个模型在 Hugging Face 上的权重;路线图中「Serving engine」下的交互式流式输出、动态请求到达与取消、跨路 block 权重共享等条目尚未勾选。仓库说明团队将逐步把相关能力贡献进 vLLM-Omni,为 CausVid Wan 增加 chunk 级自回归去噪与带噪 KV 支持的 已合并,被称为这项工作的第一步。

报告同时写下两个未解问题。其一是带噪 KV cache:流水线去噪要求模型在带噪的 KV cache 上推理,这一范式下的后训练算法尚不成熟,与干净 KV cache 推理的生成质量差异和性能边界也不明朗。其二是响应延迟:报告写明,本文解决的是输出延迟而非动作响应延迟——新的动作或观测进入模型后,仍需依次经过全部 stage 才首次反映在输出中,高频闭环控制场景因此仍受限制。

参考链接