AREX Feed Article
NVIDIA 发布车载开放模型 Alpamayo 2 Edge:实时自适应推理,可规划路径并解释决策
北京时间 11 月 11 日凌晨(UTC 时间 11 月 10 日 16 时许),宣布车载模型 Alpamayo 2 Edge 上线,称其为车辆带来实时自适应 AI 推理:模型能规划驾驶路径,并在需要时解释自己的决策,官方举出的场景包括礼让行人、为对向驶来的公交车让出空间。NVIDIA 同时称,开发者可以基于这个开放模型构建新一代自动驾驶汽车,并把 AI 适配到自己的车队。
同一时间,给出更具体的技术口径:Alpamayo 2 Edge 是一个 2B 参数的推理视觉-语言-动作(VLA)模型,为在 NVIDIA DRIVE AGX Thor 平台上实时车载部署而设计,生成驾驶轨迹和因果解释。与同日上线,权重、代码和部署配方一并公开;也已把它列为模型训练与优化环节的正式选项。
跟 34B 的 Super 分工:小模型留给车端
Alpamayo 2 Edge 隶属 ——一个把推理 VLA 模型、仿真框架和驾驶数据集打包给自动驾驶开发者的家族。官方介绍称其推理围绕 Chain of Causation(因果链,下称 CoC)展开,让驾驶决策可解释、可审计。家族里已有 34B 参数的 Alpamayo 2 Super,负责规划、自动标注和训练更小的模型;Edge 补上的是车载端这一层。
这款模型 10 月 21 日已在 GTC Berlin 上亮相,将其描述为基于 Cosmos 3 Edge 的 Nemotron 骨干、面向 DRIVE AGX Thor 优化、以 10 Hz 运行车载场景理解与运动规划为设计目标。11 月 10 日的变化是模型开放了下载。
模型卡给出细账:官方口径的「2B 参数」实际由 2.45B 骨干(1.96B 语言模型、0.41B SigLIP2 视觉编码器、0.08B 投影层)加 0.2B 扩散动作专家构成,合计 2.65B。每次观察,模型读取 6 个摄像头共 22 帧图像、一条导航文本和 20 个以 0.1 秒为间隔的自车历史位姿;轨迹接口输出 64 个路径点,覆盖 0.1~6.4 秒,每个候选轨迹配有一段独立采样的因果推理文本。训练数据方面,模型卡载明约 115,000 小时多摄像头驾驶视频、约 370 万条 CoC 因果推理链。
常规驾驶不写推理链,算力花在必要时
「实时自适应」是这次发布的核心机制。开发者博客解释称,模型只在必要时生成推理,常规驾驶中直接输出 <NOMINAL> 标记,省下不必要的 token(词元)生成和推理算力;需要解释时再给出完整因果链。为了塞进车载算力,NVIDIA 的其他手段包括:用 Alpamayo 2 Super 生成的 CoC 自动标注做离线蒸馏、DFlash2 投机解码、多分辨率环视输入编码,以及配套的 TensorRT 与 TensorRT-Edge-LLM 量化推理配方。
博客中的参考配置显示,在 DRIVE AGX Thor-X(DRIVE OS 7.2.7.0、CUDA 13.4、TensorRT 11.3.1.9)上完成优化后,模型像素到轨迹的推理延迟为 160~190 毫秒,随推理量多少浮动。早期合作方 Embedl 的 CEO 兼联合创始人 Hans Salomonsson 在博客中称:「不到 48 小时,我们让 NVIDIA 的 Alpamayo 2 Edge 在 AGX Thor 上以 10 Hz 运行,用于实时规划。」
官方口径下的成绩单
博客与模型卡列出的基准均来自 NVIDIA 及其合作方自述。博客的对比图把 Alpamayo 2 Edge(2B)与 4B 参数的 Qwen-Drive-1.0 放在同一组任务里:AlpaSim 闭环测试中两次责任事故间的行驶里程 9.87 公里对 0.25 公里(官方标注约 40 倍);开环轨迹预测的最小平均位移误差 0.53 米对 1.68 米;Ego3D、VLADBench、SURDS、Waymo QA、nuReasoning、KITScenes 等场景理解与推理基准上 Edge 得分更高,LingoQA 一项则低于对手(75.2 对 79.4)。
开发者博客另称,模型经 AlpaGym 仿真框架中的闭环强化学习(RL)后训练,闭环驾驶性能比未做闭环 RL 的最优检查点提升 48.9%。模型卡载明的成绩还有:875 个 NuRec 重建场景的闭环测试中,每次责任事故间行驶 15.15±0.04 公里;1,392 个样本的开环评测 minADE_6@5s 为 0.52 米。
配套的还有评分器 AlpaJudge:博客称这个经人类校准的评估与奖励模型负责给推理链打分、筛掉弱标注,并充当强化学习的奖励信号;官方图示的数据筛选流程把中分段样本的占比从原始数据的 27% 提到筛选后的 81%。
早期拿到模型的团队怎么说
博客的「早期伙伴反馈」部分共列出三家公司:除前文提到 10 Hz 运行结果的 Embedl 外,还有 PORT 和 Niulinx,以下反馈均属其自述。PORT 首席技术官 Matas Simonavicius 称,拿到早期访问权几天内,团队就在自己伦敦街景录像的 NuRec 重建中跑通闭环:Edge 保持车道的完成次数是 Alpamayo 1.5 的两倍以上,车道偏离后恢复的次数多约 40%,同一块 GPU 上开箱规划速度约为手工调优的 Alpamayo 1.5 服务端的两倍。Niulinx 联合创始人兼运动规划负责人 Luca Crotti 称,零样本评测中 Edge 的位移误差比 Alpamayo 2 Super 低 13.6%、3 秒横向预测误差低 46.1%,用自有驾驶数据微调后位移误差再降 44.2%,从拿到模型到真车首测只用了几天。
权重开放之后,还差什么
这次「开放」有具体所指:模型权重以 OpenMDW-1.1 许可发布,采用 Apache 2.0,模型卡将其定位为微调与车端高效部署的起点。不过,沃尔沃、Bolt 与奔驰等欧洲伙伴在 10 月新闻稿中采用的,是 Hyperion 平台与更大的 Alpamayo Stack 整套软件,并未特指 Edge。
这次发布没有回答的问题:上述性能数字均出自 NVIDIA 及合作方自述,暂无独立验证;模型卡自己写明,基础或微调模型集成进 AI 系统前,仍需用用例专有数据做额外测试、按 V 模型完成单元与系统级验证;至于哪些车队会把 Edge 装进量产车、何时装,帖文与博客都没有给出答案。