[发明专利]一种基于深度学习的可见光多视图像三维重建方法

权利要求书

1.一种基于深度学习的可见光多视图像三维重建方法，特征在于，包括以下步骤：

步骤1：对待预测场景的图像组进行增量式SfM，计算得到各图像的相机参数和待预测场景的稀疏点云；

步骤1.1：使用COLMAP程序读入待预测场景的图像组，进行增量式的运动恢复结构算法，计算得到每张图像的相机参数和待预测场景的稀疏点云。

步骤2：设计基于MVSNet的改进深度估计网络，将待预测场景输入网络进行计算，得到每张图像对应的深度图、概率图；

步骤2.1：对尺寸为H×W的原始图像，采取与MVSNet特征提取器相同的提取过程，在得到32通道的高维特征图后，再进行多层卷积和两次2倍插值上采样，每次插值上采样后，与前阶段的同分辨率特征图进行聚合，最终得到尺寸分别为H/4×W/4×32、H/2×W/2×16、H×W×8的特征图。

步骤2.2：对每个邻接视角，根据步骤1中获得的相机参数和场景的稀疏点云，从稀疏点云中提取出该邻接视角与参考视角共视区域的点云集合。对点云集合中的每个点，计算出其与两图像相机光心和主光轴的基线角，使用分段高斯函数为该点计算出一个分值，将所有点的评分相加得到一个总评分表示两张图像间的匹配度得分。

步骤2.3：对邻接视角提取的特征图经过可微单应变换得到的32通道特征体，将其划分为G个通道组，各个组采用内积方式计算出其与参考视角的特征体对应的通道组的相似性。得到每个邻接视角的G通道的相似性映射体。对各个邻接视角的相似性映射体之间，利用匹配度得分作为加权系数，进行归一化的加权均值聚合，最终得到分组均值度量的G通道代价体。

步骤2.4：利用特征金字塔模块提取出的最低尺度的特征图，在整个场景的深度范围内，均匀设置64个深度平面，利用步骤2.3所述的分组相似均值度量法构建出H/4×W/4×64×G的代价体，其中G是分组的个数。随后将代价体使用3D CNN正则化得到概率体，估计出一个H/4×W/4的粗深度图。其中3D CNN中每层卷积层后的批归一化层和非线性激活函数层都替换为Inplace-ABN层。

步骤2.5：利用特征金字塔模块提取的中尺度特征图，对步骤2.4估测的粗深度图进行2倍上采样，得到H/2×W/2的上采样深度图，以该深度图作为一个先验深度曲面，以场景深度范围的1/128作为间距，在其前后共设置32个等距的相对深度面。设立好相对深度面后，再利用分组相似性均值度量法构建H/2×W/2×32×G的代价体。利用步骤2.4的3D CNN模块对代价体正则化得到概率体，估计出H/2×W/2的相对深度图，并与先验深度图双线性插值上采样后的结果叠加，得到H/2×W/2的中级深度图。

步骤2.6：与步骤2.5类似，利用特征金字塔模块提取的高尺度特征图，对步骤2.5输出的中级深度图进行2倍上采样，得到H×W的上采样深度图，以该深度图作为先验深度曲面，在其前后共设立8个等距的相对深度平面，平面间隔为场景深度的1/256，利用分组相似性均值度量法构建出H×W×8×G的代价体，使用步骤2.5的3D CNN模块正则化得到概率体，估计出尺寸为H×W的相对深度图，并与中级深度图双线性插值上采样后的结果叠加，得到最终的深度图。

步骤3：根据几何一致性对所有图像的深度图进行过滤和融合，生成待预测场景的三维点云数据。

步骤4：生成场景三维点云数据；

步骤4.1：对各图像得到的深度图和概率图，通过概率图进行阈值筛选，对满足阈值的像素深度通过在得到每张图像的深度图与概率图之后，通过双视图几何一致性进行深度过滤，对过滤后的深度像素进行融合得到点云数据。

2.如权利要求1所述方法，其特征在于，步骤2.1使用了特征金字塔网络结构来改进MVSNet的特征提取网络，提取多尺度的图像特征，并使用Inplace-ABN层置换批归一化层和激活函数层，降低显存的消耗。

3.如权利要求1所述方法，其特征在于，步骤2.2设计的基于匹配度的加权均值度量法，基于分组相似性将可微单应变换后的特征图转化为G通道的相似性映射体，设计视角匹配度算法，并基于匹配度加权均值将各邻接视角的相似性映射体聚合为轻量级的代价体。

4.如权利要求1所述方法，其特征在于，步骤2.3通过多尺度特征图聚合的多尺度均值代价体进行多阶段的迭代，不断提高空间分辨率细化深度图，最终输出与原图尺寸相同深度图和概率图。