如何在OpenCV中从多幅已知姿势的图像中稳健地进行三维重建

这基本上显示了用于估计深度的基本几何图形。

正如你所说,我们有相机姿态Q,我们从世界上选取一个点X,X_L是它在左边图像上的投影,现在,有了Q_L,Q_R和X_L,我们可以组成这个绿色的极平面,剩下的工作很简单,我们在线(Q_L,X)上搜索点,这条线精确地描述了X_L的深度,有不同的假设:X1,X2,..., 我们可以在正确的图像上得到不同的投影

现在我们比较X_L和右图上重投影点的像素强度差,只需选择最小的一个,相应的深度正是我们想要的。

很简单嘿?事实上更难的是,图像从来都不是严格凸的:

这使得我们的匹配非常困难,因为非凸函数会导致任何距离函数都有多个临界点(候选匹配),如何确定哪一个是正确的?

然而,人们提出了基于路径的匹配来处理这个问题,方法如下: SAD , SSD , NCC ,它们被引入来创建尽可能凸的距离函数,但它们无法处理大规模重复纹理问题和低纹理问题。

为了解决这个问题,人们开始在极线上进行长距离搜索,突然发现我们可以将匹配度量的整个分布描述为沿深度的距离。

这幅图的深度是垂直坐标轴,这幅图的深度是垂直坐标轴 depth filter 我们通常用高斯深度滤波器来描述这种分布,并用这种滤波器来描述深度的不确定性,结合面片匹配方法,我们可以大致得到一个建议。

现在,让我们使用一些优化工具,比如GN或梯度下降,最终优化深度估计。

综上所述,深度估算的整个过程如下:

1. 假设所有像素的所有深度都遵循初始高斯分布
2. 通过极线开始搜索,并将点重新投影到目标帧中
3. 三角测量深度,并根据深度过滤器计算深度的不确定性
4. 再次运行2和3以获得新的深度分布,并与前一个深度分布合并,如果它们会合,则中断,或者从2开始重新开始。