Physical AI 公司 Hub 开源 HubEgo-100K:首版 10,124 小时第一人称技能劳动视频上线 Hugging Face,CC BY 4.0 允许商用
Physical AI 部署与研究公司 Hub(X 账号 @hubdotxyz,自述由 Y Combinator 支持)于北京时间 11 月 17 日凌晨 3 点 17 分(11 月 16 日 19:17 UTC)宣布,正式开源第一人称技能劳动视频数据集 HubEgo-100K。计划总量为 10 万小时、来自 10 万名以上不同的 Hub 贡献者,研究与商业用途均免费;首版 v1 已上线 Hugging Face 仓库 HubLabs/HubEgo-100K(署名 Hub Labs (Hub Data, Inc.)),含 10,124 小时 1920×1080、30 fps 的 RGB 视频与 IMU(惯性测量单元)运动数据,出自 12,227 名贡献者,按 CC BY 4.0 许可发布,允许商用、需注明出处。发布帖同时自称其为「Hugging Face 上最多样的第一人称数据集」,并称其余约 9 万小时将在数周内分批放出。
数据卡列出的首版体量:72,754 个片段,中位数时长 4.9 分钟、最长 30 分钟,合计 1,093,194,072 帧;15,548 个独立环境、11 类场景;62,000 余条独特任务描述,覆盖 56 类任务、30 类工种、35 个动作族;佩戴者双手入镜时间占 95% 以上,96.9% 的片段时长在执行任务本身。这些数字目前全部出自 Hub 自家的推文与数据卡;仓库 11 月 12 日创建,页面 11 月 17 日仍在更新。
首版里有什么:逐帧对齐的 IMU、双格式与标注字段
每段素材都由头戴单目相机以超广角镜头拍摄,H.264 编码;84% 的片段直接取自手机的原始 30 fps 流,其余按 60 fps 录制后转为 30 fps。视频之外,每帧都对齐了 100 Hz 的加速度计与陀螺仪读数,磁力计、设备运动、航向、气压计等原始传感器流完整保留在 MCAP 文件中。数据以 LeRobot v3(Hugging Face 机器人社区的数据格式)与 MCAP 两种格式提供,另配 catalog.parquet 与 annotations.parquet 两张表,按 episode_index 与视频一一对应。
每条标注含一句话任务描述(数据卡举的例子是「机缝并锁边无袖上衣的接缝」)、分步任务指令、动作族、技能组(18 组)、难度、环境类型与 on_task_share(真正执行任务的时间占比)。难度上,34% 的时长标注为 hard、47% 为 medium,余下约 19% 为 easy。数据卡还给出按片段抽取的示例代码:不必下载全部素材,就能单独拉出焊接手机主板或安装活塞环的某一段。
素材从哪来:付费录制网络与 72 小时录制窗口
数据卡强调没有摆拍环节:贡献者拍摄的是自己正在做的活,地点是他们自己的工作场所或在家中完成的上门手艺活。83% 的时长来自工地、车间、沙龙、商用厨房、商店、仓库与农场等真实工作场所;所有小时都由 Hub 贡献者本人录制,数据卡写明「无第三方片段」。
首版素材是在一个 72 小时窗口内录成的。推文串第二则写明素材「在 72 小时内录完」("Recorded in 72h"),数据卡附图脚注同样注明首版在 72 小时窗口内录制、统计来自发布元数据。按首版总时长折算,这 72 小时里平均有约 140 路头戴拍摄在同时进行,是一次集中、并行的大规模采集。
这个供给端并非临时搭建。Hub 在 6 月的一则以拉美城市为背景的帖子里写明录制报酬为每小时 4 美元,称「对窗后许多人而言这超过一天的收入」;9 月 5 日上线「商业任务」,邀请用户录制自己的实际职业——商店、沙龙、农场、车间、工厂——并称这类工时计价高于家务任务;9 月 1 日它自称贡献者已录下超过 200 万个日常任务片段。11 月 10 日它预告数据集「11 月 12 日(周四)上线 Hugging Face」,仓库如期创建,v1 的官宣则等到 11 月 16 日。发布帖下有自称贡献者的用户留言:一位自称医学院最后一年学生的用户说,自己每天在轮班之外为 Hub 录制 1.5~2 小时——这类自述无从独立核实。
多样性立论:环境数当主轴,Ego4D 作规模坐标
Hub 立论的关键一环写在数据卡 Diversity 一节:它引用 Lin et al. 的 ICLR 2025 论文——机器人模仿学习的泛化随训练环境与物体数量增长,远甚于随单一环境内的示范数量增长——然后宣布自己沿这条轴构建:每位贡献者在自己的工作场所或家中录制,每多一人就多一批新环境。「环境多样性提升泛化」是 Hub 引用文献之后给出的自家框架。
分类体系也借了既有基准的骨架:数据卡称 56 类任务的两级分类体系参照 Ego4D 的场景标签,35 个动作族对标 EPIC-KITCHENS 的动词类别。时长分布上,最大的纺织与服装生产类占全部时长的 13.1%(1,329 小时),18 个最大类别各超过 200 小时;同一动作跨场景复现,「组装与安装」出现在 20 个工种、「清洗与擦拭」19 个、「切割修整」17 个;没有单一动作族超过总时长的 10%。
规模坐标可以拿 Ego4D 对照:这个 CVPR 2022 发布的第一人称基准收录 3,670 小时日常活动视频。首版时长约为其 2.8 倍,若 10 万小时足额兑现则约 27 倍,与 AGTPinsights 转述的评论者 Ole Lehmann 的说法相近:他称这是「有史以来开源的最大机器人数据集」,规模是多数研究者训练所用数据的 27 倍。两类数据的取向不同(日常活动对技能劳动),比较只在量级层面成立。AGTPinsights 还转述了 Hub 的后续计划:成为最大的开源 Physical AI 数据供给方,后续版本加入人类示范、遥操作数据与部署中的 on-policy rollout(策略运行时自产生的轨迹数据),这些目前只是 Hub 的说法。
采集之后:机器标注、再平衡与隐私清洗
数据卡说明的加工流程是:贡献者头戴单目相机录制指定任务;视觉语言模型对每段录像做稠密标注、在时间上切分,只保留双手执行任务的段落;有人工复核结论时覆盖机器判断;再对任务间的小时数做再平衡,避免单一任务主导。但同一张卡片也明说:这些标注「未经人工检查」(have not been checked by people)。
隐私清洗写得具体:发布前剪除检测到儿童、他人面部或私人文字(文档、屏幕、卡片、车牌)的段落并留余量;面部占画面比例过大的录像整段剔除;标注发现未成年人的片段移除;对他人实施的照护类任务排除;音频、位置、设备标识与贡献者身份信息全部去除。数据卡称贡献者已同意其录像用于训练与评估 AI 和机器人系统。
自报口径、带标签的发布帖与早期下载数
截至发稿,没有独立基准对这批数据的规模或训练价值作出核验,首版统计与「最多样」的定位均维持 Hub 自报口径。AGTPinsights 的梳理是第三方转述而非核证,它同时指出 Hub 的发布帖带有付费合作(paid partnership)标签。
截至写作时,数据集页面显示 335 次下载、23 个赞;发布帖约 12.1 万次浏览、384 个赞、86 次转发,公开可见的回复以机器人与 AI 社区的正面短评为主,间有提问与自称贡献者的留言。接下来可核查的是两件事:其余约 9 万小时是否如 Hub 所说在数周内分批放出,以及这批未经人工复核的机器标注在真实训练流程中的表现。首版已在 Hugging Face 上可整包或分片下载。
参考链接
- Hub 官方发布帖(@hubdotxyz,2026-11-16)
- Hub 推文串第二则:v1 明细
- Hugging Face 数据卡 HubLabs/HubEgo-100K
- AGTPinsights 观察帖(2026-11-16)
- Hub 预热帖(2026-11-10)
- Hub 拉美叙事帖:$4/小时(2026-06-15)
- Hub 商业任务上线帖(2026-09-05)
- Hub「200 万片段」帖(2026-09-01)
- 自称贡献者的回帖(@thainansique)
- Lin et al., ICLR 2025(数据卡引用)
- Ego4D 论文(Grauman et al., CVPR 2022)
- CC BY 4.0 许可
- 封面图来源:HubEgo-100K 媒体空间
- 工种时长分布图来源(数据卡附图)