[发明专利]一种基于卷积神经网络的条纹投影三维扫描方法

权利要求书

1.一种基于卷积神经网络的条纹投影三维扫描方法，其特征在于，包括如下步骤：

(1)用计算机生成一张正弦编码条纹图；

(2)利用投影装置将其投射在被扫描物体上，并用左相机和右相机采集物体上的变形条纹图，得到左条纹图和右条纹图；

(3)对左相机和右相机采集到的左条纹图和右条纹图进行立体匹配，获得初始匹配视差；

(4)对左条纹图和右条纹图中的编码相位信息进行单帧条纹图的相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；

(5)根据标定参数进行三维点云重建，得到被测物体的三维轮廓；

所述步骤(3)具体包括立体匹配模型的搭建、训练和使用；利用预先训练好的立体匹配模型，得到左条纹图和右条纹图之间的视差，将步骤(2)采集到的左条纹图和右条纹图同时输入到立体匹配模型中，利用视差范围约束提取出视差图中的有效区域，得到左右条纹图的匹配结果，即匹配视差图；所述立体匹配模型包括特征提取模块、匹配代价模块和视差估计模块；所述立体匹配模型是深度卷积神经网络，其以条纹图作为输入，以相位图作为输出；

所述步骤(4)具体包括如下步骤：(a)单帧条纹图相位恢复；利用预先训练好的相位恢复模型，从条纹图中恢复出相位信息，将步骤(2)采集到的左条纹图和右条纹图分别作为相位恢复模型的输入，用相位恢复模型的参数对输入图像进行卷积、激活操作，最终得到相位恢复模型恢复出来的相位图，其中，左相位图和右相位图中的相位值都是位于区间(-π，π]内的包裹相位；(b)相位辅助视差优化；根据步骤(a)中恢复出的左相位图和右相位图信息，对步骤(3)得到初始匹配视差进行优化，利用步骤(3)中的视差找出左相位图中点在右相位图中的匹配点位置，以该位置为中心在一定范围内进行对应点的相位值搜索，得到相位值相同的点的坐标，从而对视差进行优化。

2.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：步骤(1)中计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹周期、初始相位。

3.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：步骤(2)所述左相机和右相机为两个相同的相机或两个不同的相机或一个相机和一个投影仪的组合。

4.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于，所述步骤(2)具体包括如下步骤：

第一步，硬件搭建及标定参数，

条纹投影三维扫描技术的硬件部分由两个相机和一个投影装置构成；其中，左相机和右相机构成立体视觉系统，投影装置位于两个相机中间，调节三者的夹角至视场范围重合，然后对左相机和右相机组成的立体视觉系统进行标定，得到左相机和右相机的内参以及位置关系，即标定参数，所述参数包括相机有效焦距、光心、像元间距、两相机坐标系间平移矩阵和旋转矩阵；

第二步，图像数据获取，

利用投影装置向被测物体投射编码正弦条纹，左相机和右相机同时对被测物体进行拍摄，得到左条纹图和右条纹图；根据立体视觉系统的极线约束，利用标定参数将全局匹配转化为对应行的匹配，利用标定参数对左条纹图和右条纹图进行极线校正，得到行对准的左条纹图和右条纹图。

5.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：所述相位恢复模型包括特征提取模块、正弦信息恢复模块、余弦信息恢复模块、相位计算模块；所述单帧条纹图相位恢复的方法具体是模型输入为条纹图，经过特征提取模块，进行特征图的提取；然后分别利用卷积模块对特征图进行正弦信息的恢复和余弦信息的恢复；最后四象限反正切操作将正余弦信息合并为一张相位图，作为网络的输出，该输出就是模型所要恢复的相位信息；

相位辅助视差优化的方法，基于物理空间中某一点在左右相位图中具有相同的相位值这一理论基础，具体是在左相位图中每一点联合获得的立体匹配视差图就可以找到右相位图中对应点，但是立体匹配视差的值存在一定的误差，因此，需要在右相位图对应点的前后进行搜索，寻找与左相位图相位值相等或最接近的点，然后更新视差值，更新视差值的过程中用到了一维线性插值，应用相位辅助视差优化的方法，更新整张立体匹配视差图得到优化后的视差值。