700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > 基于图像的三维重建——稠密重建准备(8)

基于图像的三维重建——稠密重建准备(8)

时间:2021-11-27 14:50:19

相关推荐

基于图像的三维重建——稠密重建准备(8)

文章目录

三 维 重 建 流 程稠 密 重 建 整 体 框 架深 度 图 计 算>代码流程图>数据准备>>图像映射>>邻域帧选择>>最佳邻域帧选择

三 维 重 建 流 程

稠 密 重 建 整 体 框 架

openMVS稠密重建整体框架如上图所示,其输入为图像、位姿以及稀疏点云,输出深度图以及稠密点云。

深 度 图 计 算

>代码流程图

>数据准备

>>图像映射

这一步的目的主要是跳过无效的、未标定的或被丢弃的图像。具体如下图所示:

>>邻域帧选择

这一步主要是给每个参考图像选择有用的邻域帧,这个邻域帧就是我们用来做匹配的帧,合适的选择策略可以提升重建效果,所以这一步非常重要。

邻域帧的选择策略有共视点f在两个图像V,R的夹角 ω \omega ωN,f在两个图像中分辨率的相似性 ω \omega ωs,f在两个图像中覆盖的面积最小值area,分数计算如下式:

ω \omega ωN的表现形式如下图所示:

选择这三个条件的原因主要有:a.两个view靠的越近,越不能提供一个足够大的baseline来重建高精度模型,因此,通过共视点夹角来间接判断两个view的baseline是否足够大;b.两个图像的分辨率如果差别比较大,立体匹配时是有问题的,所以选择邻域帧,与当前帧分辨率是否一致也是一个重要的因素;c.重建时,图像的分辨率越高重建的效果越好,故以共视点覆盖的图像面积也作为重要参考条件。

上面的公式 ω \omega ωa(f,Vi,Vj) = min((a/amax)2,1),角度阈值amax默认10,角度低于这个值分数越低,2次方的目的是为增强角度下降带来的影响。这个公式中并没有对角度远大于10做限制,原因是特征点计算时已经对大角度处理过了,角度比较大时是没有共视特征点的。

>>最佳邻域帧选择

在上一步计算中,每张图像都选出nMaxViews个邻域帧,现在需要给每张图像选择一个最佳邻域来求解深度图。所以现在求解的问题是:每个view(node)都有n个邻域(label),优化目标是给每个node选择一个label使得整体能量最小。这个label就是我们最终给每个view分配的最佳邻域帧。这个问题就是马尔可夫随机场的labeling问题(能量最优)。这个能量最小优化问题能量函数构造如下:

Markov Random Field能量函数:

公式中Y是标签(label),X是节点(node)。UnaryCost:之前计算的score,用平均score归一化后的值。PairwiseCost:惩罚两个node的label相同的情况即不鼓励任意两个的view的邻域相同。

通常的求解方案有:1.TRW: Tree-reweighted Message Passing; 2.BP: Belief Propagation。参考论文为《convergent tree-reweighted message passing for energy minimization》

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。