[发明专利]一种基于卷积神经网络的条纹投影三维扫描方法

说明书

本发明公开了一种基于卷积神经网络的条纹投影三维扫描方法，该方法涉及计算机视觉，光学三维扫描和图像处理领域。该扫描方法用计算机生成一张正弦编码条纹图，利用投影装置将其投射在被扫描物体上，并用左右两个相机采集物体上的变形条纹图；对左右相机采集到的左右变形条纹图进行立体匹配，获得初始匹配视差；对左右变形条纹图中的编码相位信息进行相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；最后根据标定参数进行视差重建，得到被测物体的三维轮廓。

技术领域

本发明涉及计算机视觉，光学三维扫描和图像处理领域，特别是一种基于卷积神经网络的条纹投影三维扫描方法。

背景技术

近年来，三维扫描技术在AR/VR、机器人、无人机、无人车等领域有着广泛应用，实现方案主要有结构光、立体视觉和TOF(飞行时间法)三种，其中结构光与立体视觉相结合的技术是当前主流的、应用最广泛的三维扫描方案。

结构光主要有线结构光、正弦条纹结构光、散斑结构光等方法，其中线结构光有较高的纵向分辨能力，但是横向分辨能力较差，并且扫描速度慢；散斑结构光仅需要投影一帧就可以实现三维扫描，但是精度较差；正弦条纹结构光的纵向分辨能力和横向分辨能力较为平均，扫描速度较线结构光快，是最常用的结构光编码方法。正弦条纹结构光的目的主要是为了解决立体视觉中的匹配问题，但是往往需要多帧投影来解决相位恢复和相位包裹，其过程中存在相位恢复难的问题。

发明内容

本发明的目的在于提供一种基于卷积神经网络的条纹投影三维扫描方法，解决使用多帧投影进行相位恢复难的问题。

本发明的实现过程如下：

一种基于卷积神经网络的条纹投影三维扫描方法，包括如下步骤：

(1)用计算机生成一张正弦编码条纹图；

(2)利用投影装置将其投射在被扫描物体上，并用左相机和右相机采集物体上的变形条纹图，得到左条纹图和右条纹图；

(3)对左相机和右相机采集到的左条纹图和右条纹图进行立体匹配，获得初始匹配视差；

(4)对左条纹图和右条纹图中的编码相位信息进行单帧条纹图的相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；

(5)根据标定参数进行三维点云重建，得到被测物体的三维轮廓。

进一步，步骤(1)中计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹周期、初始相位。

进一步，步骤(2)所述左相机和右相机可以为两个相同的相机或两个不同的相机或一个相机和一个投影仪的组合。

进一步，所述步骤(2)具体包括如下步骤：

第一步，硬件搭建及标定参数，

条纹投影三维扫描技术的硬件部分由两个相机和一个投影装置构成；其中，左相机和右相机构成立体视觉系统，投影装置位于两个相机中间，调节三者的夹角至视场范围重合，然后对左相机和右相机组成的立体视觉系统进行标定，得到左相机和右相机的内参以及位置关系，即标定参数，所述参数包括相机有效焦距、光心、像元间距、两相机坐标系间平移矩阵和旋转矩阵；

第二步，图像数据获取，

利用投影装置向被测物体投射编码正弦条纹，左相机和右相机同时对被测物体进行拍摄，得到左条纹图和右条纹图；根据立体视觉系统的极线约束，利用标定参数将全局匹配转化为对应行的匹配，利用标定参数对左条纹图和右条纹图进行极线校正，得到行对准的左条纹图和右条纹图。