【论文条记】Feat2GS：以3DGS的视角评估2D大模子的3D感知

这是一篇实行大于方法的论文，方法自己很简朴，实行非常告急，作者对多个视觉大模子的3D感知本事做了充实的评估。个人以为这个评估做的非常有须要，由于自从DUSt3R 发表以来，以视觉transformer为底座，以3D信息为head的方法正在呆板人与SLAM，三维重修等方向大放异彩！众所周知，3D范畴由于GT数据的大量缺乏，是一个巧妇难为无米之炊的现状，DUSt3R之后，我们由此而思考，视觉大模子固然训练于2D数据，然而好像也具有着3D感知？而西湖大学和马普所的这项研究刚好就是在做我们想知道的变乱，视觉大模子VFMs，对于3D信息感知究竟多少？
除此之外，作者根据这些大模子的效果评估，归并告终果好的多个大模子，来进一步增强3D感知本事，进而优化希奇重修pipeline，也给出了后续2D大模子应用于三维重修的一些开导。
1.abstract

        视觉底子模子 (VFM) 是在广泛的数据集上举行训练的，但通常仅限于 2D 图像，天然会出现一个题目：它们对 3D 天下的明白程度怎样？ 由于架构和训练协议（即目的、署理使命）存在差异，急迫须要一个同一的框架来公平、全面地探究他们的 3D 感知。 现有的 3D 探索工作告急关注单视图 2.5D 估计（比方深度和法线）或双视图希奇 2D 对应（比方匹配和跟踪）。 但是这些使命忽略了纹理感知，而且须要 3D 数据作为GT，从而限定了其评估集的规模和多样性。 为相识决这些题目，我们引入了 Feat2GS，它可以从unposed images中提取的 VFM 特性中读出 3D 高斯属性。 这使我们可以大概通过NVS探测多少和纹理的 3D 感知，而无需 3D 数据。 别的，3DGS 参数（多少（x、α、Σ）和纹理 (c)）的解耦也可以对纹理和多少感知举行单独分析。 在 Feat2GS 下，我们举行了广泛的实行来探索几种 VFM 的 3D 感知，并研究导致 3D 感知 VFM 的身分。 基于这些发现，我们开辟了几种变体，在差别的数据集上实现了开始进的技能，而且可以作为新奇视图合成的简朴而有用的基线。
2.Introduction

        视觉底子模子 (VFM) [6] 已成为各种 2D 推理使命的底子 [44, 69] 以及 3D 微调的关键组件 [3, 10, 13, 34, 39, 70, 94, 106]  ]。 它们强大的少样本或零样本泛化本事告急源于表达特性[9,72,75]。 但3D体现力的关键是什么？3D 感知是否必须来自 3D 数据？ 一些 VFM（比方 DINOv2 和 MAE）仅使用 2D 图像举行训练。 训练方法有多告急？  VFM 在许多方面都有所差别，比方学习计谋（比方，自监督 [9, 33]、监督学习 [44,49, 94]）和署理使命（比方，深度图回归 [94]、跨视图完成 [97]）  ，一代[75]）。 这些差异使得公平和全面的基准测试变得困难。
        为了答复这些题目，近来的工作 [21, 74] 使用两个署理使命评估 VFM 的多少感知：1) 从单个图像举行 2.5D 深度/法线/标记估计 [21, 74]，以及 2) 2D 匹配/跟踪 两个视图 [2, 21]。 固然它确实分析了当前 VFM 的 3D 感知，但它没有探究 VFM 特性的纹理感知和多视图麋集划一性，而这对于 3D 相干使命（比方重修和天生）至关告急。
        对于“纹理感知”，纹理稳固训练可以进步多少估计，但大概陵犯纹理保存（拜见图2中的RADIO）。 然而，规复来自 VFM 特性图的原始纹理是大规模 2D 训练with photometric loss的关键[23,34,81,105]。 “多视角稠密探索”，比如新奇视图合成 (NVS) [8, 82]，允许每个输入像素以有助于评估，而不是不但仅是希奇匹配点。 与 2D 希奇匹配差别， NVS只须要图像，无需昂贵的视觉对应关系标签。 随着浩繁的公共多视图数据集可用[4, 46, 52, 60, 111] ，这些数据集涵盖 差别的场景和视点，使用这些数据集来麋集地评估纹理和多少感知的新 3D 探测方法大概非常有代价。
        因此，我们引入了 Feat2GS（Feature2Gaussian），它在 NVS 使命中仅使用 2D 多视图数据来评估 VFM 的纹理和多少感知。 如图 1 所示，在训练过程中，Feat2GS 使用预先训练的 VFM 从输入视图中提取图像特性。 然后，浅层 MLP 读出层根据这些特性回归 3D 高斯函数 [40] 的参数。 多视图光度丧失最大限度地镌汰了渲染和输入之间的视觉差异。 在测试过程中，通过差别的数据集丈量未见过的视图的视觉相似性指标（即 PSNR、SSIM、LPIPS）。 表 5 证明这些 2D 指标与 3D 指标非常划一。 为了处置处罚希奇和未举行相机标定的图像，我们使用 DUSt3R [94] 初始化相机参数，并通过光度丧失对其举行细化。

        3DGS 的参数分为多少外形 (x、α、Σ) 和纹理 (c)，可对 VFM 的纹理和多少感知举行单独分析。 每个小组可以在“特性读取”和“自由优化”模式之间切换，以使用 VFM 特性作为输入或自由优化。 这导致了三种探测方案（简称 GTA），如表 1 所示。可以看出在该数据集上，mast3r险些是多少与纹理兼备的一个大模子。

        我们的告急贡献如下：
1）Feat2GS 作为 VFM 探针。 Feat2GS 提供了一个同一的框架（图 1）来探测预训练 VFM 的 3D 感知（纹理和多少），而无需使用 3D 标签。
2）VFM的广泛分析。 我们评估了跨差别多视图数据集（表 4）的各种主流 VFM（图 2），从简朴场景到因果捕捉。 这些实行显现了 VFM 的常见缺点并显现了怎样改进它们（第 4.3 节）。
3) NVS 的强大基线。 受这些发现的开导，我们计划了 Feat2GS 的三个变体，它们在全部指标上都优于当前的 SOTA InstantSplat [22]（表 6）。
3. Related Work

        丈量 VFM 的 3D 感知： 毫无疑问，视觉底子模子 VFMs，已经明显推进了各种 3D 视觉使命，比方多少线索估计 [3, 27, 35, 39, 42, 70, 106]、6D 姿态估计 [65]、视觉跟踪 [88]、空间推理 [13, 24] 等。然而，这些进步和一样寻常的开始进纪录背后，这些 VFMs 真正具备 3D 意识吗，纵然是在没有任何 3D 数据的情况下训练的？如果是，这种意识到达了什么程度？是什么使这种意识成为大概？
        现有工作告急关注粗粒度语义推理，比方确定“哪个标记更靠近”，而不是细粒度乃至像素级空间推理，对于细粒度的 3D 探针，它们要么使用 2.5D 署理使命，要么使用双视图希奇点匹配 [21] 和跟踪 [2] 评估 VFM 的 3D 意识。 这些细粒度 3D 探针的告急限定是它们对标记的 3D 数据的依靠，这极大地限定了对大规模视觉数据的公平和全面的评估。Feat2GS 通过起首从 VFM 特性回归 3DGS，然后通过新奇视角合成来基准测试 3D 感知，。这带来了两个上风：全部原始像素都可以为终极评估做出贡献，任何多视图捕捉都可以被使用。Feat2GS 实现了“麋集”和“多样化”的 3D 探测。
        希奇视角的 NVS现状： 比年来，NVS取得了巨大盼望[11,40,61,62,85]。 对于希奇视角重修，提出了各种正则化器 [63, 102] 或视觉先验，比方深度 [20, 119]、预训练的视觉特性 [36, 101]、扩散先验 [ 96, 98] 和前馈建模 [10, 12, 17, 34, 38, 54, 76, 89, 110, 120]。 然而，这些方法假设已经有来自活动结构[77]的已知相机pose，众所周知，希奇视角的pose非常难以获取。 只管一些工作实行在 NVS 优化 [95] 的同时优化相机姿态，但使用了粗到细编码 [51]、局部到全局配准 [16]、多少束缚 [37]、对抗性目的 [58]、麋集对应等技能 [86]和外部先验[5,28,59]，它们只能处置处罚麋集视图或类似视频的序列——而不能处置处罚希奇视图图像。 DUSt3R [94]、MASt3R [49] 等突破性方法以及后续工作 [91, 114] 通过在大规模数据集上训练模子来办理这些限定。 他们将成对重修题目视为点图回归，从而缓解了重修一个场景，须要传统投影相机模子的严酷限定。 推测的点图可以直接初始化 3DGS [40]，然后可以在双视图前馈中举行回归 [23,81,105] 或通过多视图光度丧失举行优化 [22]。InstantSplat [22] 密切反映了我们使用 DUSt3R 估计相机从希奇捕捉中优化 3DGS 的目的。 我们的 Feat2GS 与众差别之处在于我们使用视觉特性读出 3DGS，以自由情势对其举行优化，表 1， 这可以通过浅读出 MLP 来完成，有助于防止过分拟合。

        3D 特性场：除了对外貌举行建模之外，3D 神经场 [99]（比方 NeRF [61]、3DGS [40]）还可以通过将从多个视图中提取的 2D 特性聚合到 3D 规范框架中来对特性举行建模。 特性提取器可以以端到端的方式从数据 [80, 116] 中学习，也可以是现成的视觉底子模子（VFM），比方 DINO [9]、CLIP [69]、Stable Diffusion [ 75]、SAM [44, 73] 和 LSeg [50]。 
4.Method

4.1. Feat2GS

        一句话总结就是，把图片输入到2D大模子内里，然后解码出高斯参数，对于优化过程，是使用参数化的GS对DUSt3R 估计的pose举行渲染，与GT做loss。详细：
        我们在图 1 中展示了我们的pipeline：从各种视觉底子模子 (VFMs) 中提取冻结的特性图后，使用主身分分析 (PCA) [32] 同一特性通道维度，通过双线性上采样标准化空间维度，以及为差别的 VFM 特性保持划一的网络架构。详细来说，Feat2GS 以每个像素 i ∈ {1, 2, ..., n} 的紧凑特性 fi 为输入，并通过读出层 gΘ 输出每个像素对应的的高斯primitive，每一个Gi的属性包罗位置、透明度、方差矩阵、3阶球谐函数:

        为了防止 3D 高斯被读出层表现，我们通过限定读出层的参数数目来欺压 3D 高斯分布从特性中解码。详细来说，读出层是由一个每层包罗 256 个单位的 2 层 MLP构建的，并使用 ReLU 激活函数。然后，我们通过可微光栅化将 3D 高斯分布投影到图像上。须要留意的是，为了使我们的方法可以大概评估随意捕捉的、希奇的和未校准的图像，我们在实行中使用了一个不受束缚的立体重修器 ，即 DUSt3R [94]，来初始化相机位姿 T，然后使用渲染图 R 和图像 I 之间的简朴光度丧失，与读出层 Θ 团结更新相机姿态 T。

        为相识耦多少和纹理感知，我们提出了三种探测模式：
（1）从 2D 图像特性中读出多少参数(Geometry)，自由优化纹理参数

，也就是多少稳固优化纹理：

（2）读取纹理参数(Texture)

 ，直接优化多少参数

，也就是纹理稳固，优化多少：

（3）直接读出全部参数（All），不做优化：

4.2. Warm Start

        我们发现，由于随意图像的希奇性子，直接从 2D 图像特性解码 3D 结构很容易陷入局部极小值。 为了确保对差别底子模子的特性举行妥当评估，我们使用点云回归来预热我们的GS以及后续的优化过程  。        

此中，

是来自DUSt3R 的初始点云。   
4.3. Evaluation

        我们选择从随意（希奇和未校准）图像 [22] 中评估 NVS，告急有两个缘故原由：（1）多样性： 处置处罚随意图像的本事低落了对收罗技能和视图设置的要求，有助于使评估数据多样化。 (2) 差异： 与麋集视图 NVS 相比，此使命提出了更大的寻衅，从而可以更好地域分各种 VFM 功能的性能。 为了评估可以大概覆盖 3 到 N 个视图的恣意随意捕捉，我们通过DUSt3R 同一估计全部数据集的训练和测试视图的pose。 随后，我们通过光度丧失实行test-time pose optimization [22, 51]，也就是先对估计的pose举行refine，在评估视图合成质量之进步一步校准测试pose。
5. Experiments

5.1实行设置        

我们的实行重点关注 10 种体现出强大通用 3D 感知潜力的视觉底子模子 (VFMs)，比力这些模子在差别范例的数据（2D 与 3D）和差别监督计谋（比方，监督学习与自监督学习、点对齐与深度对齐）上的训练效果。表 2 提供了一个概述。为了尽大概公平地举行比力，我们使用了公开可用的模子ckpt，并选择了具有可比架构和训练规模的模子。我们还纳入了 IUVRGB 作为基线，IUVRGB 包罗图像索引（I）、像素坐标（UV）和颜色（RGB）。

        为了可靠地评估差别的特性，我们的实行使用了七个多视图数据集，希奇视图的采样范围从2到7，测试的视点阔别训练视点。这些数据集，如表3，丰富的多样性，与3D地面真实数据集相比，为我们提供了更全面的视角。

        评估指标：我们在七个数据集上使用标准指标评估新视角合成的效果：PSNR（峰值信噪比）、SSIM（结构相似性指数）和 LPIPS（感知路径长度）。在盘算这些指标时，我们依照 Splatt3R [81] 的方法，对渲染图像和测试图像都应用了掩膜。这些掩膜将有用像素界说为至少在一个视图的视锥体内的像素，而且这些像素的反投影深度与 DUSt3R 推测的深度对齐。全部指标都是在整个图像上盘算的。
在 DTU 数据集上，我们丈量重修的 3D 高斯分布 (3DGS) 与点云真实数据之间的隔断（表 5），陈诉均匀精度、完备性和隔断，这与之前的研究 [1, 91] 划一。精度是指从重修点到真实数据的最小欧氏隔断；完备性是指从真实数据点到重修点的最小欧氏隔断；隔断则是基于真实数据点匹配的欧氏隔断。
5.2 动机验证

新视角合成与 3D 指标相干：使用 2D 指标而不是 3D 指标可以让我们绕过对 3D 真实数据的需求。关键题目是：新视角合成是否可以有用地作为 3D 指标的署理？
        我们在 DTU 数据集 [1] 上举行了实行，该数据集以麋集点云作为 3D 真实数据，评估了 2D NVS 和 3D 点云回归使命。我们盘算了这些效果之间的相干性，如表 5 所示。效果表明 2D 和 3D 指标之间存在剧烈的相干性，支持 NVS 作为 3D 评估的指标。我们在图 4 中进一步定性地展示了这种相干性。效果表明，NVS 与 3D 指标之间存在很强的关系，确认高质量的 NVS 与精确的 3D 表现高度划一。

5.3. 发现

        总体性能：表 4 对 VFM 特性举行了三种探测模式的基准测试：多少、纹理和综合（All）。我们在图 2 中绘制了这些特性在差别数据集上的均匀得分。

        在多少模式中，体现最好的前三个模子是：RADIO > MASt3R > DUSt3R。然而，在纹理模式中，这些模子的体现差异较大，评分最高的是：MAE > SAM > MASt3R。在综合模式中，MASt3R 和 DUSt3R 得到了最高的评分，其次是 DINO。在表 4 中，Stable Diffusion (SD) 在大多数指标中体现最差，图 3-A 展示了其明显的颜色漂移和多少结构断裂，更多的多少定性效果请拜见附录。这与 Probe3D [21] 中关于 SD 的结论划一。大的视角厘革会导致特性空间中的不划一（见图 9b）。

        纹理不友爱的训练计谋：如表 4 和图 3 所示，VFM 特性在纹理模式中的体现较差，乃至不如图 7 中展示的简朴的 IUVRGB 编码。这表明当前的 VFM 特性缺乏纹理意识，正如 [81, 105] 中所指出的。一个大概的表明是，VFMs 通常被训练用于语义明白或 3D 估计，这些使命须要纹理稳固的特性以制止捷径 [29, 30]。比方，DUSt3R 被训练成纹理稳固，以进步在各种田野捕捉中的 3D 妥当性。自监督学习（SSL）中的大量数据增强，如 DINO [9]、BYOL [31] 和 SimCLR [14] 中的颜色抖动、高斯含糊和太阳化，鼓励模子在外貌或照明厘革的情况下产生划一的输出。由于 CLIP 是在弱对齐的图像-文本对上训练的，它通常包罗含糊且粗糙的语义，这些语义不敷以建模低级视觉模式，如颜色、质料和纹理 [92]。RADIO 通过蒸馏 DINO 和 CLIP，实现了精彩的多少意识，但同时也继续了它们较差的纹理意识（见图 2 和图 7）。

        纹理从遮蔽图像重修中受益：为了进一步分析 GTA 模式之间的相互关系，我们使用全部数据集的均匀指标盘算了它们的相干矩阵，如图 6 所示。效果表明，综合模式在 PSNR 和 SSIM 指标上与多少模式的关联更强，这些指标告急反映结构划一性，而在 LPIPS 指标上与纹理模式的关联更密切，LPIPS 是用于评估图像清晰度的指标。这进一步支持了综合模式中的含糊征象是由于 VFM 特性缺乏纹理意识的观点。

        纹理显然是实现照片级真实效果的关键。怎样在 VFM 中保存纹理？如图 2 所示，颠末mask图像重修预训练的 VFM（如 MAE、MASt3R、DUSt3R）在 TLPIPS 指标上排名最高，图 7 也支持这一点。MAE 可以大概规复清晰纹理的本事大概归功于仅使用裁剪增强（cropping-only augmentation），而不是颜色抖动，由于颜色抖动会低落效果质量，因此未被包罗 [33]。别的，基于去噪的图像重修会导致颜色偏移，如图 8 所示。
通过这些分析，我们可以看到，mask图像重修预训练有助于进步 VFM 在纹理使命中的体现，从而改善综合模式下的图像质量。这表明在训练 VFM 时，恰当镌汰对纹理不友爱的数据增强方法（如颜色抖动和去噪），可以更好地保存纹理信息，提拔模子的多使命处置处罚本事。

        多少从 3D 数据中受益：在图 2 中，RADIO、MASt3R、DUSt3R 和 DINO 在多少意识指标上排在前四名。在图 9a 中，这四个特性有助于重修发掘机的更完备结构，而其他特性则导致漂泊的伪影和畸变。
        更好的多少意识意味着更强的跨视角划一性，这一点也在图 9b 中得到了支持。实现多少感知一个关键因素是 3D 数据。MASt3R 和 DUSt3R 都是通过点图（pointmap）训练的。那么 2.5D 数据，如深度图或法线图，体现怎样？如图 9a 所示，2.5D 数据的体现要差得多，特殊是 DUSt3R 与 MiDaS 的对比。请留意，MiDaS 和 DUSt3R 共享类似的 ViT-L/16 编码器架构（见表 2），而且具有可比的训练规模（3M vs. 2M）。深度图估计大概会导致在差别隔断下观察同一对象时特性不划一。相比之下，点图回归 [94] 鼓励网络天生跨视角划一的特性，由于视图厘革时场景坐标保持稳固 [8, 79]。
        模子集成的资助：RADIO 通过蒸馏 DINOv2、CLIP 和 SAM 进入单个模子，如图 2、3 和 9a 所示，实现了最佳的多少感知。一个天然的题目出现了：简朴地拼接这些特性是否可以得到类似的效果？答案是肯定的！详细来说，我们拼接了 DINOv2、CLIP 和 SAM 的特性，然后应用主身分分析（PCA）将特性通道镌汰到 256，以保持网络巨细稳固，举行公平的比力。图 10a 体现，在多少模式下，特性拼接（DINOv2+CLIP+SAM）的体现优于模子蒸馏（RADIO）。

        这一效果引发了我们进一步探索：如果我们将最佳的多少模式特性和最佳的纹理模式特性团结起来会怎么样？图 6 已经指出，最佳的综合模式（All mode）应该在纹理和多少方面都没有缺点。如图 10b 所示，使用来自 RADIO（在多少模式中最佳）和 MAE 与 IUVRGB（在纹理模式中最佳）拼接的特性的综合模式，其体现优于使用 MASt3R 特性的原始最佳综合模式。这一探索展示了我们探针方法的潜力。
6. Application

        Feature Pickup：受第 5.3 节的开导，我们创建了三个 Feat2GS 变体，以使用非专业（希奇且未标定）图像在新视角合成（NVS）使命中与 InstantSplat [22] 举行比力。详细来说，我们选择了多少模式中体现最好的RADIO作为第一个基线。如表 6 所示，使用RADIO特性的 Feat2GS 在 PSNR 和 SSIM 指标上优于 InstantSplat。图 11 中的定性效果体现，InstantSplat 常常天生断裂的结构和不连续的伪影。这告急是由于针对希奇视角优化数百万个 3DGS 会导致高频细节的过拟合，从而产生次优参数。相反，使用RADIO特性的 Feat2GS 多少模式可以大概天生高质量的新视角合成图像，这得益于RADIO的强多少感知。在该变体中Feat2GS 的RADIO的强多少感知使得我们可以通过一个非常轻量级的（2 层）MLP 从深层特性中读取 3DGS，这对于制止过拟合至关告急。

        特性融合：由于简朴的特性拼接有用（见图10），因此思量一种刀切斧砍的方法是公道的：将差别的VFM特性举行拼接。然而，探索全部大概的特性组合是不切现实的。因此，我们根据多少模式的性能对特性举行排序，如图12所示。曲线表明，随着更多的VFM特性被拼接，性能有所提拔，特殊是当更高排名的VFM特性被归并时，性能的提拔更加显着。基于这一观察，我们将全部VFM特性简朴拼接作为第二个基线。与仅使用RADIO特性相比（如图11所示），“Feat2GS w/ concat all”模子得到了更好的效果。

        特性微调：我们探究在预热阶段举行特性微调是否有益。微调差别VFM特性后的效果体现差异很小，这表明使用任何良好初始化的特性举行微调都是有用的（详细内容见附录）。由于我们使用DUSt3R来预热读出层，为了简化，我们在表6中比力了未微调的DUSt3R与微调后的DUSt3R*。特性微调可以进步新型视图合成（NVS）的质量。图11体现，微调后的模子在性能上显着优于现在开始进的InstantSplat。
7.结论

        Feat2GS 有几个限定。 起首，Feat2GS 须要初始化相机位姿和由无束缚立体重修器估计的点云 [49,91,114]。 固然现有方法（在我们的例子中为 DUSt3R [94]）对于初始化来说是妥当的，但偶尔会发生失败。 只管 Feat2GS 可以处置处罚嘈杂的初始化点云，但它很难处置处罚那些包罗显着非常值的点云，如图 13 所示。一个令人高兴的方向是通过使用 VFM 特性来初始化姿势 [65] 和点云 [8] 来消除这种依靠性。 其次，Feat2GS 专为受控设置而计划，在恒定照明下短时间内捕捉场景。 这限定了它处置处罚恒久、田野数据集的本事，这些数据集的图像大概相隔数小时或数年捕捉，比方地标的互联网照片集 [83, 89]。  末了，Feat2GS 现在仅限于静态场景。 这是多视图图像聚集中评估的公道假设，但限定了动态视频中的评估。 4D 高斯分布 [55, 93] 可用于降服此限定。
        Feat2GS 有用地使用 VFM 在随意、希奇的捕捉上实行新奇的视图合成 (NVS) 使命。 这些发现表明，从规范空间中的各种视图推测 3D 高斯并使用光度丧失训练模子是开辟 3D VFM 的一种有出息的计谋，[23, 105] 也指出了这一点。 别的，VFM 特性集成也是一个值得探索的风趣主题 [72, 78]，我们证明这可以通过简朴的串联在 Feat2GS 中有用实现。 我们盼望这些见解以及用于未来模子探索的多功能工具 Feat2GS 将推进 VFM 研究并推动 3D 视觉的进步。