Apple 发布 Depth Pro 2:单一网络同时处理图像与视频,开源 24M~872M 四档权重与焦距估计器
2026 年 11 月 19 日 18:55(UTC),Apple AI/ML Research 在 arXiv 论文页上线了《Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth》(arXiv:2611.26603,提交记录显示 v1 由 Stephan R. Richter 提交)。配套权重已发布在 Apple 官方 Hugging Face 组织:Depth Pro 2 分四个规模发布——S(24M 参数)、B(97M)、L(334M)、H+(872M),每个规模各自成仓,另有一个四个规模共用的焦距估计器 DepthPro2-focal(23.5M 参数);官方项目页随附论文、代码与权重入口。
据论文与项目页,Depth Pro 2 用一个可扩展的网络统一处理单张照片、整段视频或实时摄像头画面,在输入的原生分辨率下输出以米为单位的深度图。作者在摘要里给出的核心判断是:既往单目深度方法普遍在“时序一致性”与“边界锐度”之间取舍,Depth Pro 2 则在这两项上同时超越先前工作,并定义了新的 Pareto 前沿。需要说明:这些对比结论均为作者自报,论文 v1 是 arXiv 预印本,尚未经过同行评审。
单帧锐利、多帧稳定:论文从一对矛盾切入
论文 HTML 全文开篇举了一段狐獴视频:单帧方法(文中以 InfiniDepth 为例)能把毛发的边界勾得很锐利,却在不同帧里把狐獴放到不同的距离上;多帧方法(文中以 π³ 为例)能把距离稳住,但只能在低于输入视频的分辨率下运行,毛发被抹平。作者据此在 Sintel 与 Spring 两个数据集上测量各方法的边界锐度(Boundary F1)与时序一致性(Jitter),结果是单帧方法聚在“锐利但不稳”的一端,多帧方法聚在“稳定但平滑”的一端——作者选择这两个数据集,是因为它们带有高分辨率、稠密的真值。
Depth Pro 2 的解法是把两件事放进同一个网络:训练时喂 1~32 帧不等的片段,图像当作长度为 1 的片段,与视频和多视角数据混着训——按论文的解释,单图让模型从一帧里学出米制尺度,视频配合时序一致性损失让预测跨帧稳住。至于“同时在所有维度超越既往工作”“新的 Pareto 前沿”,属于论文的自报结论;在作者自己整理的对比里,最大的 H+ 在边界锐度与时序一致性两项上的平均排名均为第一。
Depth Pro 2 是 Apple 2024 年 10 月发布的原版 Depth Pro 的续作。原版只处理单张图像,主打“不到一秒的锐利米制深度”,在标准 GPU 上 0.3 秒生成 2.25 百万像素的深度图;续作把输入从单图扩展到视频与实时流。
架构:单图 ViT 改成多视角 transformer,注意力在帧内与帧间交替
四个规模的骨干网络分别从 DINOv3 的 ViT-S/16、ViT-B/16、ViT-L/16 与 ViT-H+/16 初始化(H+ 的命名即来自 ViT-H+),输入按 16×16 的 patch 切成 token,用二维旋转位置编码标注空间位置。论文里有两个设计服务于“任意帧数”:位置编码不标注帧顺序,网络对帧的排列等变;跨帧信息共享靠把部分自注意力层改为跨帧注意力,不新增参数,单图预训练的注意力权重可以直接复用。
注意力的安排是:前 1/3 的 transformer block 只做帧内自注意力(论文称早期 block 主要编码低层特征),其余 2/3 的 block 在帧内注意力与跨帧注意力之间交替。DPT 解码器从若干 block 取 token,拼装成输入分辨率 1/32 到 1/4 的特征图,用转置卷积替代双线性上采样,为每帧预测一张逆深度图;网络实际预测的是按焦距归一化的逆深度,要得到米制深度还需要焦距。
推理支持两种流式模式。缓冲模式把视频切成片段处理,相邻片段重叠若干帧并在重叠处按线性权重融合,GitHub 仓库的默认设置是 16 帧一段、重叠 4 帧;无缓冲模式逐帧出结果,当前帧只看自己和之前 15 帧(默认窗口 16),过去帧的 key/value 缓存在先进先出队列里只算一次。仓库同时提醒:显存随帧尺寸和窗口增长,不随视频总长度增长。
四档权重与共享焦距估计器:从命令行到 Mac 实时演示
Hugging Face 权重页列出了四个规模的参数量与下载体积:
| 规模 | HF 仓库 | 参数量 | 下载体积 |
|---|---|---|---|
| S | apple/DepthPro2-S | 24M | 97 MB |
| B | apple/DepthPro2-B | 97M | 386 MB |
| L | apple/DepthPro2-L | 334M | 1.3 GB |
| H+ | apple/DepthPro2-H | 872M | 3.5 GB |
四个规模共用一个焦距估计器 DepthPro2-focal(23.5M 参数、94 MB),随任意规模加载,在焦距未知时预测视场角、再换算出焦距。这个估计器基于 DINOv3 ViT-S/16 微调,训练数据是约 9,200 万张带 EXIF 焦距的 Flickr 照片。焦距决定米制尺度:照片通常把焦距记在 EXIF 里(35mm 等效焦距),没有时才用估计器;在 Python 里直接传入 f_px 时估计器会被跳过。视频整段共用一个焦距——取第一个窗口内各帧估计值的中位数;实时流在第一个窗口填满后固定这个值。论文称该估计器在 1080p 下于 NVIDIA B200 上跑到 118 fps,给 S/B/L/H+ 带来的额外算力开销分别约 8%、3%、1% 与 0.5%;在六个数据集的零样本焦距评测中,相对焦距误差低于 25% 的图像占比(δ25)平均为 88.6%,对比原版 Depth Pro 的 71.7%——均为作者自报。
速度也是论文口径:流式处理 1080p 视频时,最小的 S 在 B200 上跑到 53 fps,高于多数视频 30 fps 的拍摄帧率;最大的 H+ 为 8 fps。
GitHub 仓库只含推理代码,不含训练与评测代码;在 Linux 或 Apple silicon Mac 上用 uv 安装,自动选择 NVIDIA GPU(CUDA)、Apple silicon GPU(MPS)或 CPU 运行。命令行默认加载 H+(首次运行下载 3.5 GB 权重),笔记本上可换 S(97 MB)。输出有三档:红近蓝远的深度 PNG/MP4;16 位灰度逆深度图(README 建议在 Nuke 里按 Raw、在 Blender 里按 Non-Color 读取,供合成使用);以及带米制 depth 和 focallength_px 的 npz 文件。README 写明了几条使用边界:depth 是沿相机视线方向的 z 坐标,不是到相机的直线距离;天空像素深度为无穷远,小模型可能给出数公里的有限值;深度随焦距线性缩放,焦距偏长 10%,整个场景就会偏远 10%。仓库另提供面向 Apple 硬件的 Core ML 导出权重,demo/ 目录附一个用 Core ML 跑实时摄像头深度的 Mac 应用,需要 Apple silicon 芯片、macOS 15 及以上系统。
训练配方:19 个数据集、128 张 B200、10 万步
论文附录列出 19 个训练数据集,合成数据占大头;除公开数据集外还有内部数据——带 ToF(time-of-flight,飞行时间)深度标签的手机手持视频,以及渲染出的人、宠物和物体场景。为保证真值边缘不被抹掉,训练不做任何真值深度插值;论文引述其对照实验称,相比原版 Depth Pro 的缩放策略,免重采样让边界精度提高超过 5 个百分点——同样是作者自报。
时序稳定性由一条专门的损失项承担:多视角自洽损失用真值相机位姿把一帧像素按预测深度投到另一帧,惩罚逆深度偏差;为覆盖动态场景,先用真值深度投影一遍,剔除投影深度与目标位置真值相差超过 2% 的像素(遮挡与运动物体所在处)。整组模型训练 10 万步、用 128 张 B200 GPU,AdamW 峰值学习率 5×10⁻⁵,每张 GPU 按 73,728 个 token 的预算凑批——例如 1024×1024 分辨率下恰好 18 帧。代码与模型构建在 DINOv3 与 TIMM 之上,仓库的致谢部分列明了这两个依赖。
研究专用许可、未上线的 Demo 与归零的下载量
权重按 Apple Machine Learning Research Model 许可发布,Hugging Face 页面写明仅限研究用途,GitHub 仓库的许可条款把范围限定为“非商业科学研究与学术开发活动”(“exclusively for Research Purposes”)——商用部署不在授权范围内。
落地状态有几个具体数字:截至核实时刻(2026 年 11 月 20 日),权重页显示 18 个赞、下载量 0;HF 仓库创建于 11 月 3 日,页面更新于核实当日;GitHub 仓库 30 stars、2 forks。模型卡里预留的在线 Demo 入口目前处于注释状态,注明“Space 公开前隐藏”——现阶段想上手只能装本地环境。
最后是成绩的口径:Boundary F1 与 Jitter 优于单帧/多帧方法、零样本米制深度与焦距估计的领先、论文给出的两组推理速度,全部来自作者的评测;项目页的视频对比也由作者生成——用 H+ 在原生分辨率跑,基线用各自默认设置。权重和代码已经可以下载,采用度尚待观察。
参考链接
- arXiv 论文摘要页(arXiv:2611.26603):https://arxiv.org/abs/2611.26603
- arXiv HTML 全文(v1):https://arxiv.org/html/2611.26603v1
- Depth Pro 2 官方项目页:https://apple-aiml-research.github.io/ml-depth-pro-2/
- Apple 官方 Hugging Face 组织 DepthPro2 页面:https://huggingface.co/apple/DepthPro2
- apple/DepthPro2-S:https://huggingface.co/apple/DepthPro2-S
- apple/DepthPro2-B:https://huggingface.co/apple/DepthPro2-B
- apple/DepthPro2-L:https://huggingface.co/apple/DepthPro2-L
- apple/DepthPro2-H:https://huggingface.co/apple/DepthPro2-H
- apple/DepthPro2-focal:https://huggingface.co/apple/DepthPro2-focal
- apple/DepthPro2-coreml:https://huggingface.co/apple/DepthPro2-coreml/
- GitHub 仓库 apple-aiml-research/ml-depth-pro-2:https://github.com/apple-aiml-research/ml-depth-pro-2
- 原版 Depth Pro 论文(arXiv:2410.02073):https://arxiv.org/abs/2410.02073