vLLM-Omni 宣布 Day-0 支持 AURA 2.0,华为研究、CUHK MMLab 与 HKUST 的 AURA 团队开放 9B 模型权重
北京时间 11 月 18 日凌晨 0 时 30 分(UTC 时间 11 月 17 日 16:30),vLLM 项目官方 X 账号 @vllm_project 发帖宣布:全模态推理框架 vLLM-Omni 对流式视频模型 AURA 2.0 提供 Day-0 支持。AURA 2.0 是帖文所称的 9B 参数流式视频模型,出自华为研究(Huawei Research)、CUHK MMLab 与 HKUST 的 AURA 团队,官方称其能够观察场景、主动发起对话并依据所见执行操作;权重已开放在 Hugging Face 的 aurateam/AURA_2 仓库,模型卡标注 9.41B 参数、BF16 格式,另有一个 FP8 量化版本 aurateam/AURA_2_BF8。
帖文给出的关键数字是延迟:单会话、两块约 140 GB 加速器的配置下,首包回复音频的中位延迟 344 ms。帖文同时称 AURA 2.0 在 IPIBench、StreamArena、ProactiveVideoQA 与 PhoStream 四项聚合基准对比中领先。这些能力描述、延迟数字与基准结果均出自 vLLM 项目帖文和 AURA 团队的自述材料,未经独立验证。
不等提问就开口:三项能力各是什么
帖文把 AURA 2.0 的能力归为三项。一是主动对话(Model-Initiated Conversation):模型自己决定何时说话、说什么,不必等用户提问。二是流式感知工具调用(Stream-Aware Tool Calling):结合实时画面与对话内容调用工具,并把结果带回对话。三是交互式视觉定位(Interactive Visual Grounding):用与帧对齐的边框指向正在谈论的物体。
技术报告把这三项描述落到了具体机制上。arXiv 报告(编号 2611.17048,11 月 12 日提交)称,MIC 要求模型在持续变化的画面流中识别值得讨论的话题、在合适的时刻发起对话;SATC 让模型依据当前视觉与对话上下文调用外部工具,工具返回的信息再进入后续交互;IVG 则是双向的——模型既能识别用户在视频帧上圈出的物体,也能在回复中输出帧对齐的边框。报告还引入了 Long-Horizon Interaction Memory(LHIM,长时交互记忆),项目页说明其做法是把离开视觉窗口的重要历史信息整理为事件级摘要,纳入后续交互上下文。
从语音识别到语音生成:344 ms 的流水线
vLLM-Omni 是 vLLM 社区 2025 年 11 月发布的开源项目,在 vLLM 原本面向文本自回归生成的设计之外,扩展出对扩散 Transformer 等并行生成架构的支持,覆盖文本、图像、音频、视频与动作数据,并提供带流式音频输入输出的全双工实时服务接口。帖文称,这次 AURA 2.0 的推理链路由它承接——从语音识别经视频-语言推理到语音生成;344 ms 的延迟则靠三项机制支撑:会话与前缀复用、静默轮次快速通道、句级语音交接。
AURA 团队的代码仓库给出了流水线的组件清单:AURA 2.0 主模型之外,语音识别用 Qwen3-ASR-1.7B,语音生成用 Qwen3-TTS-12Hz-1.7B-CustomVoice,部署脚本固定使用 vLLM 0.33 wheel,并捆绑运行所需的 vLLM-Omni 源码。仓库标注的已验证布局是两块 80 GB 加速器——AURA 占一块、ASR 与 TTS 占另一块——默认预留约 90% 的 AURA 侧显存和 38% 的 ASR/TTS 侧显存。帖文报告 344 ms 时用的两块约 140 GB 加速器与这个布局并不相同,复现者需要按自己的硬件核对显存预留。
四项基准对比:数字出自公告方自己的图表
帖文所配对比图覆盖四项公开流式视频基准。项目页为每项划定了考察范围:IPIBench 考察持续视频流中的主动监测、任务管理,以及主动与被动请求交织时的交互;StreamArena 考察长视频流中的实时感知、历史回溯、主动交互和工具使用;ProactiveVideoQA 关注模型回答的内容与时机;PhoStream 考察移动场景中的流式视频理解与时间推理。
项目页同时留下了口径脚注:图中 IPIBench、StreamArena 与 ProactiveVideoQA 的聚合值由网页按标注方式计算,PhoStream 直接取技术报告的 Overall 分;StreamArena 中 MOSS 的 Tool 项未报告,图中按 0 计。arXiv 摘要的措辞则更收敛——「在开源流式模型中取得领先表现」。
论文与权重 11 月 12 日上线,上一代 AURA 已先行接入 vLLM-Omni
技术报告《AURA 2.0: From User-Driven Responses to Model-Initiated Conversations in Streaming Video》于 11 月 12 日提交 arXiv,两个 Hugging Face 权重仓库的发布时间戳同为 11 月 12 日,页面在 11 月 17 日仍有更新。项目页列出 18 位作者,主要来自 Huawei Research,CUHK MMLab 与 HKUST 的研究者参与其中,Yang Bo 标注为项目负责人,Rui Liu 为通讯作者。
摘要称 AURA 2.0 是对上一代 AURA 的三项核心升级。训练按三阶段推进:从流式问答与工具使用出发,引入主动对话与视觉定位,再进一步训练能力组合;响应控制部分,项目页说明针对「沉默/回应」标记的不平衡使用 focal loss(焦点损失),其余监督 token 用交叉熵。vLLM-Omni 仓库的更新记录显示,今年 9 月的 v0.30.0 已围绕引擎管理的会话,为 MiniCPM-o 4.5 与 AURA 建立统一的全双工服务框架——AURA 2.0 这次是接进同一框架的新版本。代码仓库以 Apache-2.0 许可证开源,包含 AURA 双工后端、浏览器界面、工具执行器与部署脚本。
在自己的硬件上跑一遍:演示、可选工具与验证边界
代码仓库提供完整的演示部署流程:在加速器服务器上运行部署脚本,首次启动会安装 Python 环境、下载 ASR/TTS 权重并跑一次冒烟测试;浏览器打开页面、授权摄像头与麦克风后即可通话。界面支持按住说话、输入文字提问,也可以直接在视频帧上画圈;arXiv 摘要中「识别用户在视频帧上标记的物体」指的就是这类输入。
演示的可选网络工具包括当前时间(Asia/Shanghai 时区)、基于服务器出口 IP 的粗略定位、Open-Meteo 天气查询,以及需要配置 DEEPSEEK_API_KEY 的 DeepSeek 文本与图像工具;无密钥时模型仍能看到这些工具的定义,调用只会返回配置错误。记忆功能默认关闭:开启需要单独一块加速器运行 Qwen3-VL-8B-Instruct 做历史对话摘要,文档标注该功能为实验性、不做跨会话存储。部署说明同时提醒,演示没有内置用户鉴权,逐轮写出的上下文转储可能包含对话内容、工具结果与位置信息,运行目录需要自行保管。
验证范围的表述同样直白:已验证的只有上述加速器布局,「其他加速器的兼容性与显存需求需另行验证」,且没有预构建的公开 Docker 镜像。权重与代码都已开放,但延迟数字尚无独立复核;论文局限性一节也承认,模型主动开口是否有用取决于用户偏好,完整的双工交互留待后续工作。