AREX Feed Article
英伟达 GEAR 开源机器人视频标注引擎 Flora:称每小时 0.72 美元、质量 57.1% 胜过 GPT-6 Astra
英伟达 GEAR 研究实验室开源了 Flora,一个面向机器人视频的标注数据引擎:9B 的分割模型、27B 的说明模型和 27B 的奖励模型 Flora-Rewarder,全部微调自 Qwen3.5 系列开源视觉-语言模型,已挂在 Hugging Face 的 下,供公开下载。 于 10 月 25 日报道了这次发布。
按 NVIDIA 自己的测试口径,Flora 给一小时机器人视频做标注的质量为 57.1%,成本约 0.72 美元;同样的活儿交给 OpenAI 的 GPT-6 Astra,质量 53.7%,成本约 88.49 美元。但 同时点出:这组成本数字是按“每 GPU 小时 10 美元”租金假设折算的预测值,不是实测账单;研究人员也承认,在公开的 WGO-Bench 总分上,Astra 仍然更高。称,Flora 已经在 GR00T 模型训练期间投产运行,在 512 台 GB300 GPU 上每天标注最多 200,000 小时视频。
Flora 输出的标注示例:一段机器人开邮箱的视频,被切分为 00:02~00:10 的动作片段并自动生成英文说明。图:NVIDIA,经 The Decoder 报道发布
三个模型各管一段:先分割、再描述、最后打分
GEAR 在论文里把机器人训练所需的标注拆成三类:动作在何时发生的时间戳描述,用于筛选和平衡预训练数据;逐步的执行质量评分,用于强化学习后训练;任务是否完成的判定,用于监控真实部署。 称,现有工具大多一次只能产出其中一种,而 GPT-6 Astra 这类前沿模型虽然能兼得多项,按视频体量计费又太贵。
Flora 用三个模型把这条流水线补齐。9B 的 Flora-TempSeg 先把视频切成动作片段;27B 的 Flora-Captioner 给每段生成说明文字,并参考动作发生前后的上下文;27B 的 Flora-Rewarder 则按提示词切换三种角色——给整段任务打 1~5 分的结果评分(outcome)、把每 0.5 秒一步归类为正常/次优/失败的过程评分(process),或按自定义评分细则(rubric)逐项打分。 与均描述了这一分工。
论文页面的流水线图:左侧由分割与说明模型产出时间戳说明,右侧由单个奖励模型按提示词输出稠密评分(dense reward,0.5 秒步长)、结果评分(1~5 分)和评分细则得分。图:NVIDIA
写得更细:结果评分最多采样 64 帧判断整集成败,过程评分按 16 秒窗口、每秒 4 帧输入,输出是结构化文本再解析成分数;该模型从 Qwen/Qwen3.5-27B 全参数微调而来,连视觉编码器也一并训练,训练数据合计不到 100 万条标注、覆盖不到 10,000 小时视频,是多种本体的机器人相机画面配上奖励标签。论文还说明,SFT 用 NeMo AutoModel 完成,RL 走一套自定义流程()。
成本账的出处:一次 50 段视频测试和一个假设
质量与成本对比来自 NVIDIA 的一次 50 段视频测试:Flora 标注质量 57.1%、每视频小时约 0.72 美元;GPT-6 Astra 被允许开满推理算力,得分 53.7%、约 88.49 美元。 称。同场测试里,Claude Opus 5 质量只有 30.4%、每小时约 41.70 美元,Gemini 3.8 Flash 得分 38.3%、每小时 8.48 美元。
NVIDIA 图表:Flora 以 57.1% 的质量、0.72 美元/小时位于左上角;GPT-6 Astra 为 53.7%、88.49 美元,Claude Opus 5 为 30.4%、41.70 美元,Gemini 3.8 Flash 为 38.3%、8.48 美元。图表注明 API 对比按最大推理算力进行。图:NVIDIA
成本一栏要打折看。 明确说,Flora 的成本是预测值,不是生产环境实测:NVIDIA 按假设的每 GPU 小时 10 美元租金折算。88.49 除以 0.72 约等于 123 倍,NVIDIA 的图表取整为“约 125 倍”。GEAR 联合负责人 Jim Fan 在宣布开源时用的也是这个口径:“我们构建了一个以约 125 倍更低的成本达到 Astra 级表现的机器人数据引擎。今天我们把权重开源。”()
公开基准的另一面:Astra 在总分和机器人视频上仍领先
的基准表给出了另一面。在公开的 WGO-Bench 上,Flora 检测动作边界最强,分割 F1@0.75 为 50.3,高于 Astra 的 46.0;但整体落后——金标准窗口命中率(gold-window accuracy)64.7 对 77.4,联合语义 F1@0.75 为 34.5 对 39.0。 还指出,纯描述准确度上 Flora 落后于 Gemini 3.8 Flash;研究人员把 Flora 的收益主要归因于时间定位。
在 NVIDIA 自有的 DenseCaptionBench 上,Flora 在人类视频子集全指标领先;换到机器人视频子集,说明质量 73.7 对 80.2,排在 Astra 之后()。 还点出一个研究人员自己承认的方法学问题:评测说明文字质量时,担任裁判的正是 GPT-6 Astra——它同时也是参赛模型之一。
失败步骤召回率:53.3% 对 0
说明文字质量上 Flora 只领先 3.4 个百分点,奖励标注的差距则大得多。在 RoboRewardBench 上,Flora 的错误率比 Astra 低 27.8%,平均绝对误差 40.0 对 55.4()。 称,论文把差距归因于“部分完成”的任务:机器人把瓶子碰倒但没碰下桌,Flora 按人类参考答案给 3/5 分,Astra 只给 1 分。
稠密评分的对比更悬殊:Flora-Rewarder 能抓住一段视频里 53.3% 的失败步骤,其他参赛模型没有一个超过 11.7%,Astra 则一个都没抓到。代价是 Flora 会把约 11% 的正常步骤误报为错误()。
Flora 也有两项落后:按评分细则打分(RubricBench 平均 L1 误差 3.6 对 6.5)和轨迹排序(Robometer 分布外 Kendall 系数 82.3 对 72.0)仍是 Astra 领先()。定性对比同样两头都有例子:在一段包含大量短促手部动作的视频里,Flora 识别出 37 个参考动作中的 34 个,Astra 只认出 4 个;但 Flora 会把长动作切得过碎,也曾把“用布擦盘子”描述成“叠餐巾”()。
权重开放,许可把用途锁在非商业研究
Hugging Face 的 下现有三个仓库:Flora-TempSeg、Flora-Captioner、Flora-Rewarder。显示 Flora-Rewarder 于 10 月 15 日发布;10 月 20 日,GEAR 联合负责人 Jim Fan 在 X 上宣布开源()。这张模型卡还写明,Flora 是 NVIDIA 训练 GR00T-2 时使用的数据引擎,发布目的是帮助研究者扩展自定义机器人数据集。
把 Flora 定位为 Scale AI 的 Physical AI Data Engine 等商业标注服务的开源替代,并把它放进 NVIDIA 更大的版图里:今年年初的 GTC 大会上,NVIDIA 展示过自动准备、扩增、评分训练素材的数据管线,Flora 补上的正是视频标注和奖励信号一环;谷歌近日发布的 Gemini 4 Argon 也瞄准训练视频中的工作步骤识别和失败动作标记。
对外部研究者来说,这次的交付物附带一条清楚的边界:Flora-Rewarder 采用 NVIDIA OneWay 非商业许可,模型卡写明仅供研发使用,“不用于、也不支持商业或生产用途”,输出只是标注,不得直接控制机器人,也不得作为物理系统的唯一安全监控()。至于那笔“0.72 美元一小时”的成本账,它眼下仍只是预测值——The Decoder 强调,NVIDIA 拿出的并非生产环境的实测账单()。