产品介绍

Depth Anything是一种强大的单目深度估计（MDE）基础模型，旨在充分利用大规模未标记数据的潜力。该模型经过1.5M标记图像和62M+未标记图像的联合训练

主要特点

• 零-shot相对深度估计：在相对深度估计任务中，Depth Anything的表现优于MiDaS v3.1，展现出卓越的能力。
• 零-shot度量深度估计：在度量深度估计方面，Depth Anything的性能超过了ZoeDepth，标志着其在这一领域的领先地位。
• 优化的控制网络：基于Depth Anything重新训练的深度条件控制网络，相较于之前基于MiDaS的版本，提供了更好的性能。

数据扩展策略

Depth Anything的设计理念是构建一个简单而强大的基础模型，能够在各种情况下处理任何图像。为此，团队设计了一个数据引擎，收集并自动标注了大规模的未标记数据，显著扩大了数据覆盖范围，从而降低了模型的泛化误差。

• 数据增强工具的应用：通过创建更具挑战性的优化目标，促使模型主动寻求额外的视觉知识，获得更强的表示能力。
• 辅助监督机制：通过从预训练编码器继承丰富的语义先验，增强模型的学习效果。

应用场景

在多个公共数据集和随机捕获的照片上，Depth Anything展示了令人印象深刻的零-shot能力。经过在NYUv2和KITTI数据集上的度量深度信息微调，模型设定了新的最先进的状态（SOTAs）。

此外，Depth Anything还在视频编辑领域展现了其应用潜力，团队感谢MagicEdit团队提供的视频示例，以展示视频深度估计的效果。通过与MiDaS基础的控制网络生成的视频进行对比，Depth Anything的控制网络在深度估计方面表现更为出色。