4个最强大的单图像深度估计AI模子

2010 年底，当第一款 Kinect 传感器发布时，我们看到了这款相对实惠的 3D 相机带来的大量新奇应用，从陶醉式记载片到及时互动装置，再到多少重修。我们从使用破解的 DIY 红外相机（还记得旧款 PS3 Eye 吗？）加上通过 OpenCV 2.0 举行一些配景移除的复杂而挑剔的设置，到险些自动的人物分割、手部跟踪、3D 映射和投影、点云视频剪辑等等。深度数据是这种创新爆炸式增长的催化剂。
从单个图像举行深度估计（称为单目深度估计）的远景是巨大的：无需任何特别硬件或额外数据，任何图像，无论何时或怎样创建，如今都得到了新的第三维度。这带来了多种新用途，比方：VisionPro 和 VR 耳机的 3D 视频、Looking Glass 等体积体现器的 3D 肖像、盘算照相效果、VFX 管道等。
2023 年底，发表了几篇风趣的论文，提拔了单目深度估计的最新水平。我以为对这些 AI 模子举行比力会很有用。本文不是深入探究技能细节，而是对重要模子的上风和差异举行高水平比力。

   NSDT工具保举： Three.js AI纹理开发包 - YOLO合成数据天生器 - GLTF/GLB在线编辑 - 3D模子格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模子插件 - 3D模子语义搜刮引擎 - Three.js假造轴心开发包 - 3D模子在线减面 - STL模子在线切割 
  1、深度学习期间之前

从图像推断深度并不是什么希奇事。约莫五年前，如果你想知道图像中每个像素的深度或隔断，有两个重要选择：特别传感器或立体相机。在智能手机配备微型 LiDAR 传感器或立体相机之前，要在实行室条件之外得到良好的效果既昂贵又耗时。
用于深度估计的特别传感器使用布局光（比方 2010 年发布的备受喜欢的 Microsoft Kinect v1）或飞行时间 (ToF)，这在 LiDAR 传感器上很常见。如果没有这些特别传感器，深度估计的另一种选择是专门对准的立体相机，这使得盘算立体对的差异成为大概，这是一种通太过析两幅图像像素之间的差异来推断隔断的传统盘算机视觉技能。 如果你很荣幸地拥有具有充足视差活动的大型图像数据集，就可以举行同时定位和映射（SLaM）或活动布局（SfM），但这大概是另一篇文章。传感器和立体摄像机办理方案都实用于实行室条件，但并不真正得当田野使用。
2016 年至 2018 年间，神经网络模子开始在通例硬件中成为大概，单目深度估计的概念也开始出现，它答应无需特别硬件或额外的相机数据或校准即可实现深度。其时我在 FRL 内部工作，这意味着我们可以做各种新的盘算照相后处置惩罚本领，比如数字散景效果、重新照明、AR 遮挡等。
到 2018 年，卷积神经网络 (CNN) 全面睁开，部门缘故原由是 Nvidia 发布了 RTX 20 系列，这是新一代 GPU 卡，具有专为深度学习操持的张量焦点。研究职员开始通过出现彩色和深度图像数据集来训练单目深度估计的网络模子。这些数据集的深度是使用传感器（通常是 ToF）或上面形貌的算法（如立体对）得到的，以教呆板怎样仅从一张图像推断深度。这些数据会合最著名的是 Kitti（用于户外）和 NYUv2（用于室内）。厥后，游戏引擎天生的合成数据集提供了险些像素美满的深度图，这些数据集也参加了进来。
我将比力 2023 年在开放允许下发布的三个重要深度估计模子：ZoeDepth、PatchFusion 和 Marigold。但在此之前，让我们先谈谈引发盘算照相这场黄金革命的传统模子：MiDAS。
2、MiDAS (2019-2022)

• 论文：迈向妥当的单目深度估计：混淆数据集以实现零样本跨数据集传输
  
• 堆栈：isl-org/MiDaS（MIT 允许证）
  

MiDAS 最初于 2019 年发布，并立即成为标准。它是首批妥当的单目深度估计模子之一。从其时起，作者显着进步了它的正确性。MiDAS v2.1（2020）比 v2.0 正确率高 10%，MiDAS v3.0（2021）比 v2.1 正确率高 20%。2022 年，MiDAS v3.1 比 v3.0 正确率高 28%。
只管它现在还不被以为是开始进的，但 MiDAS 的主干栈仍在 ZoeDepth 和其他更当代的方法上使用。

MiDAS 有一个告急特点：推断出的深度是相对的。换句话说，它善于估计这个像素位于另一个像素背面，但现实上并非旨在提供同等的估计。当你使用深度数据将像素投影到 3D 空间时，这一点就变得很显着了。

ZoeDepth 专注于办理这个具有空间同等性的特定标题。
3、ZoeDepth (2023)：隔断很告急

• 论文：通过联合相对深度和度量深度实现零样本迁徙
  
• 堆栈：isl-org/ZoeDepth（MIT 允许证）
  

ZoeDepth 创建在 MiDAS 之上，旨在以公制单位举行推理。

当我们在 3D 空间上举行投影并重新视角观察时，与 MiDAS 相比的改进再次变得显而易见。
这里仍有许多须要改进的地方，特别是细节的质量会丢失为暗昧的斑点。人们每每看起来像姜饼，尖角和墙壁会摇晃。PatchFusion 和 Marigold 专注于办理这些标题。
4、PatchFusion (2023)：拼接多个估计来添加细节

• 论文：PatchFusion：用于高分辨率单目度量深度估计的端到端基于图块的框架
  
• 堆栈：zhyever/PatchFusion（MIT 允许证）
  

PatchFusion 创建在 ZoeDepth 之上，是对 Boosting Monocular Depth Estimation 的一个旧想法的新看法。该算法的焦点原理是，我们不会对整个图像举行单一估计，而是迭代地对整个图像的差异地域（图块）举行多个估计。然后将这些估计深度的块“缝合”在一起。缝合有差异的设置，但它们都是从将图像分成 4x4 网格（16 个块）开始的。由于模子在边沿处存在毛病，效果在这些块的接缝处变得希奇；这可以通过添加两个 4x4 网格并以半块偏移量重叠接缝来办理，大概随机均匀额外的块。
与基于 MiDAS 构建的 Boosting Monocular Depth 差异，PatchFusion 使用了 ZoeDepth，它旨在实现更高的多少同等性。PatchFusion 的拼集方法的效果提供了更高分辨率的效果，并具有 ZoeDepth 的底层多少稳固性。有什么缺点？时间。根据设置，PatchFusion 的性能比使用 ZoeDepth 的深度估计长 16 倍到 146 倍。

留意那些锐利的边沿！（与上面的 ZoeDepth 深度图相比。）

由于小块估计使用 ZoeDepth，而 ZoeDepth 受到室内/室外数据集的影响，因此 PatchFusion 上方的点云很难处置惩罚场景反面的艺术照明。留意到反面的墙壁受亮度影响有不规则之处吗？该模子好像试图将它们表明为都会或山地景观。下一个模子 Marigold 接纳了更机动的方法来办理这个标题。
5、Marigold (2023)：实用于统统的扩散模子

• 论文：Marigold：重新使用基于扩散的图像天生器举行单目深度估计
  
• 堆栈：prs-eth/Marigold（Apache 允许证）
  

2023 年是天生模子之年，固然单目深度估计也是此中的一部门。Stability AI 于 2022 年 8 月发布了 Stable Diffusion。这种方法可以学习图像怎样在一系列迭代中渐渐退化（扩散）为噪声，更详细地说，它可以学习每一步中丢失的内容。这意味着如今模子可以推断出相反的过程：怎样从噪声中天生图像。自 2022 年中期初次提出以来，这项技能险些每个月都取得了巨大的飞跃。扩散模子会循环迟钝地从噪声中天生图像，每次迭代布局都会从噪声中浮现出来；细节会渐渐体现出来。这个过程的效果确实令人惊叹，不但是由于细节水平，还由于同等性。
这些模子是在各种图像的巨大数据集上举行训练的。我们可以说扩散模子对图像构图有更妥当、更机动的明白。Marigold 的团队已经使用了这一点，通过一种奥妙的深度编码方式，他们可以大概使用稳固扩散模子的潜伏空间来返回估计的深度。

与 PatchFusion 雷同，Marigold 的速率也显着较慢，部门缘故原由是估算须要几个周期。
但是，这也意味着亘古未有的细节，看看天生的图像的精度，特别是人物背后有花的桌子，并留意机动性：Marigold 消除了室外/室内数据会合的有毛病的效果。

我们可以看到，我们不但得到了细节，而且 Marigold 对墙壁、家具和装饰的明白也比 PatchFusion 更好。扩散模子的丰富潜伏空间带来了大量关于图像的内涵布局知识。请留意墙壁和桌子的角落是平直的；该模子知道墙壁上的亮度厘革只是投射在平面上的光图案。这就是机动性。
须要指出的是，在这幅特定图像中，Marigold 的体现优于 PatchFusion，但 Marigold 的缺点是它的深度值是标准化的，而不是任何特定单位，就像 MiDAS 一样。

纵然手动分配最小和最大隔断，仍旧会存在一些多少不同等，在这里你可以特别看到面部特性。

由于平铺方法的性子，PatchFusion 可以产生更多少稳固的效果。但它仍旧无法明白不确定的配景。

究竟上，Marigold 并不试图猜测同等的空间单位，这使得它在处置惩罚视频时显得特别希奇。请看下面的例子。

顶部的彩虹图像（左）和点云（右）是 PatchFusion。它们的效果自然比底部的彩虹和 Marigold 的点云图像更同等。全部这些效果都没有任何情势的帧间均匀或插值。PatchFusion 的空间同等性有助于视频的时间同等性，并消除了使用 Marigold 时帧间跳跃的征象。

你可以看到，纵然没有额外的稳固步调，PatchFusion（上图）也比 Marigold（下图）更稳固。

很显着，没有任何稳固功能的 Marigold 会返回非常不同等的效果。这个标题可以办理。下面你可以看到我怎样通过应用自己的稳固器来进步时间稳固性：

6、关于时间的阐明

回到我们模子的比力：与 ZoeDepth 和 MiDAS 相比，PatchFusion 和 Marigold 都须要泯灭大量时间举行盘算。当你使用它们处置惩罚视频时，这并非微不敷道的差异。上述《银翼杀手》（1982 年）的场景有 208 帧，每帧 1920x800 像素。在每种环境下，运行在我条记本电脑上的 RTX3080 都须要以下时间来处置惩罚整个序列：

• MiDAS v3.1，26 秒
  
• ZoeDepth，2 分钟
  
• Marigold，55 分钟
  
• PatchFusion (p=49)，1 小时 50 分钟
  

如你所见，处置惩罚时间的差异很大，如果你在停止日期前完成工作，确实须要思量这一点。
7、竣事语

在我看来，PatchFusion 和 Marigold 代表了单目深度估计的最新水平，但要实现无需特别硬件的答应尚有很长的路要走，特别是如果你想要及时（或靠近及时）深度估计。PathFusion 是 MiDAS 于 2018 年开启的蹊径上的最新模子——这条蹊径随着时间的推移而成熟，以得到空间同等性。固然这种图像到图像的方法存在毛病，但它是一种可靠的方法。另一方面，Marigold 是一种使用扩散模子的乐成和爱好的热门新方法。我期待看到这个模子怎样办理其空间寻衅。
这两种方法在处置惩罚速率方面都有一些改进空间。我猜，随着智能手机在其最新型号中整合了立体摄像头和 LiDAR 传感器，单目深度估计大概会成为传统媒体的后处置惩罚技能。

---

原文链接：单目深度估计4大模子 - BimAnt