拆解3D Gaussian Splatting：原理框架、实战 demo 与自驾仿真落地探索！

01 弁言

当前，三维重修技能正处于从"实行室演示"迈向"工业级应用"的关键时期。每一次对场景细节的精准还原，每一帧实时流畅的渲染结果，都在查验算法对真实天下的复现本事。高效、高质量的三维重修可以大概明显提升数字资产制作服从，助力提升假造测试的真实性，加速仿真验证流程。
然而，在"均衡重修质量与服从"这一核心目的下，现有技能仍面临诸多挑衅，包罗大规模场景的处理惩罚服从、动态物体的建模本事，以及跨平台摆设的兼容性等困难。
针对这些题目，笔者也有一些思考、履历与看法，本文将与各人一起交换。下文将先容3DGS原理框架、实战 demo 与自驾仿真落地探索等相干内容。
02 3DGS的原理框架

1、技能概览

3D Gaussian  Splatting（3DGS）是一种基于数百万个可学习的“3D色块”来实现逼真3D场景实时渲染的新兴技能。这里的“3D色块”实际上是指3D高斯球——每一个都是具备位置、外形、颜色和透明度属性的底子单位。
利用这些高斯球，我们可以对真实场景举行三维重修，再通过Splatting技能将其投影至二维平面，末了借助图像分块的光栅化方法渲染成终极图像。
以下展示的是接纳3DGS技能重修的部门场景，不丢脸出，无论是场景的细节还原度照旧色彩表现力，结果都非常出色。

在保持高保真度场景重修的同时，3DGS技能还具备出色的渲染速率，这得益于其接纳的基于图像分块的渲染方式。通过与其他三维重修方法对比可见，3DGS在视觉结果上可以大概媲美NeRF-360，而练习时间却大幅紧缩至几非常钟以致几分钟。相较于NeRF-360动辄数十小时的练习本钱，这无疑是一项紧张突破。
可以大概在与Instant-NGP相当的练习时长内，到达靠近NeRF-360的重修质量，正是3DGS技能的关键上风地点，也是其在三维重修范畴连续受到关注的紧张缘故原由。

2、3DGS团体框架

3D Gaussian Splatting（3DGS）的团体框架是一个端到端的管道，其焦颔首脑是将整个三维场景表现为数百万个可学习的3D高斯球。这些高斯球作为场景的根本表现单位，每个都拥有各自的属性，包罗3D空间中的位置、形貌其外形与方向的协方差矩阵、以及视角相干的球谐函数所表现的颜色和不透明度。

整个流程可以分为7个步调：

• 初始化：基于输入的RGB图像序列，通过sfm算法（COLMAP）估计初始希罕点云及相机位姿；
  
• 高斯空间建模：将初始点云转换为一系列3D高斯椭球；
  
• 视锥体筛选：根据当前相机参数，剔除位于视锥体范围之外的3D高斯椭球；
  
• 可微分投影：将保存的3D高斯椭球通过可微分的仿射变更投影至2D图像平面；
  
• 分块光栅化：将投影后的高斯椭球按图像块构造，并接纳基于瓦片的光栅器，实现并行、有序的肴杂渲染；
  
• 丧失盘算与反向流传：比力渲染输出与真实图像，盘算重构丧失并通过反向流传优化高斯椭球的各项属性参数；
  
• 自顺应密度控制：在练习过程中动态实行高斯椭球的克隆与分裂利用。
  

03 3DGS的实战Demo搭建

利用开源模子就可以举行一些场景的重修，开源堆栈：https://github.com/graphdeco-inria/gaussian-splatting
1、COLMAP初始化点云

要对3DGS模子举行练习，须要先的得到一组初始化点云，利用COLMAP可以从一组无序的照片中，得到相机的拍摄位姿和场景的三维点云。得到初始化点云和相机位姿的结果如下图：

2、输入模子举行迭代练习

得到初始化点云后，就可以将点云信息输入到3DGS模子中举行迭代练习。3DGS迭代练习通过不绝渲染毛病反馈来优化高斯的位置、颜色和外形，并动态增删高斯，使场景渐渐从粗糙点群精化为高保真实体模子。
以下是初始化点云和练习迭代2万次后的点云对比，可以看到迭代练习后的点云信息更加丰富，场景细节更加多样。利用这些点云和3DGS椭球就可以构建出逼真的三维场景

04 3DGS在自驾仿真中的应用探索

1、从World Extractor到aiSim

World Extractor能从原始传感器数据中，直接创建出3DGS重修的数据信息，从而可以直接导入康谋仿真软件aiSim中，举行场景渲染。这大大节省了仿真场景构建时间。而且，aiSim通过优化渲染模子，可以得到高保真的3DGS场景导入。

• 新构建了GGSR，即通用高斯泼溅渲染器，优化3D重修场景下RayTracying传感器渲染
  
• 优化广角镜头渲染，增强划一性
  
• 支持自由移动视角，镌汰伪影产生
  

左边是渲染优化前，会出现大FoV相机不划一性。右边是渲染方案优化后，可以增强划一性。

精良的仿真结果：

05 3DGS将来发展与挑衅

在体系探究了3DGS的技能原理与实践路径后，我们须要清醒地熟悉到：这项技能正处在从"可用"到"好用"的关键演进阶段，同时也存在着很多待发展的技能要点和面临的挑衅！
1、发展

3DGS技能正沿着服从极致化与本事界限拓展的双重路径演进。一方面寻求超大规模场景的实时重修与交互，另一方面致力于实现动态场景的精准建模与语义级明白。
（1）服从与应用的极致化

- 实时性与交互性：实现毫秒级动态场景重修与渲染，支持用户实时交互；
- 硬件加速：开辟专用硬件（如ASIC/FPGA）与更优的CUDA内核，让3DGS在移动端、边沿装备上流畅运行；
- 大规模场景：突破内存限定，实现对都会级、天然景观等超大规模场景的高效建模与周游。
（2）动态场景与语义明白

- 4D重修：轻松处理惩罚动态物体，天生高质量4D动态场景，直策应用于影视、主动驾驶仿真；
- 语义与编辑：与SAM中分割模子连合，实实际例级的物体辨认、分离与编辑；
- 天生式AI融合：作为3D表现，与Diffusion等天生式模子连合，实现文本/图片到3D场景的高质量、高服从天生。
（3）与其他技能的融合与同一

- 与NeRF互补： 发挥3DGS渲染快的上风，增补NeRF在抗锯齿、细节重修上的不敷，形成肴杂建模管线；
- “3D底子模子”的基石： 作为一种高效的3D表现方法，为构建大规模3D场景的底子模子提供大概。
2、挑衅

3DGS技能在渲染质量与动态场景处理惩罚方面仍存在理论瓶颈，其"黑箱"特性与数据依赖性也制约了技能的规模化应用。这些挑衅亟待从算法原理与工程实现层面协同突破。
（1）渲染质量与划一性

- 锯齿与闪耀：由于2D Splatting的固有特性，容易出现锯齿、走样和边沿闪耀题目；
- 跨视角不划一性：在差别视角下，Gaussian的分布大概出现轻微的不划一，影响多少的准确性；
- 透明与反射材质：对半透明、镜面等高光/反射材质的建模本事仍旧较弱，结果不如基于体素渲染的NeRF。
（2）动态场景与学习瓶颈

- 动态处理惩罚“粗暴”：现在的动态3DGS多依赖于变形场或时序参数，难以处理惩罚剧烈的、非刚性的形变；
- 数据依赖性强：性能高度依赖于输入图像的质量和数目，对希罕输入或存在大量遮挡的场景，重修结果会急剧降落；
- 缺乏标准与生态：相比成熟的Mesh流程，3DGS缺乏行业标准工具链。
（3）理论底子与可控性

- “黑箱”特性：Gaussian的分布与参数缺乏明白的物理和多少表明，像一个可微分的点云渲染“黑盒”，难以举行准确的、步伐化的控制；
- 参数冗余与过拟合：场景复杂度直接与Gaussian数目挂钩，大概导致练习过拟合和存储浪费。
06 总结

显而易见，3DGS以创新的3D高斯球表现方法，在重修质量与服从间实现了突破性均衡。从技能原理到实战演示，再到康谋在主动驾驶仿真中的完备工具链实践，3DGS显现了明显的工程代价。
只管在动态场景处理惩罚和渲染质量方面仍面临挑衅，但随着硬件加速和算法优化的连续推进，3DGS有望在主动驾驶、数字孪生等范畴发挥更大代价，为三维重修技能开启新的大概！
参考资料
1. https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
2. https://arxiv.org/pdf/2308.04079
3. https://arxiv.org/pdf/2401.03890v1