目录
一、稠密点云的获取方式
二、基础知识
1.极线搜索：
2.光度一致性假设 photo-consistency
3.可视性约束
三、多视角立体技术
1.基于体素的方法
2. 基于空间patch扩散的方法
3.基于深度图融合的方法[4]
参考
一、稠密点云的获取方式
Lidar扫描：精度高(毫米级别)，效率高，有效范围几米到几百米，价格昂贵；高反光，玻璃表面，吸收表面Kinect：使用方便、价格适中、速度较快；精度较低、有效距离短结构光：高精度、高效率、近距离数据获取基于图像的方法：multi-view stereo，无源被动式、成本低、图像来源广、计算速度慢、精度较高二、基础知识
1.极线搜索：
参考图像中的一点对应另一幅图像中的一条线段
2.光度一致性假设 photo-consistency
同一空间的点在不同视角的投影应当具有相同的光度，重建的核心在于恢复空间中具有光度一致性的点朗伯反射假设：常用的计算区域光度一致性的度量方式： Sum of Squared Differences (SSD)Sum of Absolute Differences (SAD)Normalized Cross Correlation(NCC)3.可视性约束
图像中出现的点不能被遮挡重建的点前面不能出现点不能出现在物体内部三、多视角立体技术
1.基于体素的方法
规则的划分[1]：等价于3D空间Voxel标记的问题不规则的划分[2]：等价于3D空间四面体标记的问题图像上的约束——剪影约束图像上的约束——光度一致性约束常用的优化模型[3]——典型的MRF离散优化问题 参考图像上每个像素分配一个标签（内部或者外部）数据项-光度一致性假设平滑项-邻域假设可视项-可视性约束优缺点 优点 生成规则的点云便于提取物体的平面缺点 精度受到空间划分分辨率的影响难以处理精度高、规模大的场景2. 基于空间patch扩散的方法
方法 假设空间中的3D 矩形patch通过一定规则的扩张方法，使得patch覆盖物体表面PMVShttp://www.di.ens.fr/pmvs/流程初始3D patch的生成patch扩张patch滤波特性3.基于深度图融合的方法[4]
人的左右眼立体视觉和深度图基本流程 1. 为每一幅图像选择邻域图像构成立体图像对2. 计算每一幅图像的深度图3. 进行深度图融合视角选择邻域的选择——全局视角选择 1. 图像具有相同的内容、外观和尺度2.图像具有足够大的时差（宽基线）图像尺度的估计——用于衡量图像的分辨率 图像上1个像素的宽度对应的三维空间中的物体尺寸相关视角的选择——局部视角选择 1.NCC值确定候选视角2.实现要足够分散（不共面）区域生长法扩张 重建的置信度建立优先级队列从初始的稀疏特征点开始深度估计对每个种子点进行非线性深度优化每次优化完后判断以下两种情况，将邻域像素添加到队列中: 1)邻域没有深度值 2) 当前像素的置信度值高于邻域像素一定范围深度值非线性优化深度值非线性优化非线性优化的数学模型颜色尺度的优化最小二乘法
的优化-梯度下降法深度值非线性优化——整体框架 只进行深度h(s,t)的优化(迭代4次)While (迭代次数< 20)每间隔5次迭代，进行 h(s,t), hs, ht的优化,否则仅优化深度优化完成后跟踪判断每个视角的置信度如果视角的置信度太小，或者超过迭代14次尚未收敛，则从局部视角中移除该视角，并重新进行视角选择深度估计结果深度融合深度融合——一致性约束深度融合——可视性约束总结： 邻域视角选择使得深度估计准确度提升原理简单，只用到光度一致性约束和可视性约束，适用的场景广泛
