[发明专利]一种用于三维重建的神经网络训练方法和系统

说明书

本发明提供了一种用于三维重建的神经网络训练方法和系统，通过将输入的相机左右图进行无监督的标定，通过不断缩小相机左右图来获取多张视差图，分别计算这些视差图对应点方差，并获得一张粗略的视差图来训练深度卷积神经网络，使得用于三维重建的最新卷积神经网络DCNN可以在实践中轻松适应新情况，避免了大量的人工手工标定。

技术领域

本发明涉及机器学习领域，尤其涉及一种用于三维重建的神经网络训练方 法和系统。

背景技术

人类的双眼分别获得图片并发现他们的差别使我们获得深度感，这个差别 称作视差。视差与深度成反比，获取到视差信息就可以通过公式计算出物体的 深度信息，将二维图片变成三维。两个经过校正的相机分别获得相机左图与相 机右图，两图对应点之间的水平差值即是视差。需要一个正确标注图(ground truth)来确定每个点在另一幅图上的对应点。为获取正确标注图(ground truth) 一般都需要手工标定大量的点，费时费力。

而近几年兴起的基于计算机视觉及深度学习的技术，大部分采用被动法如 输入单视点的单幅或多幅图像，通过图像的明暗、阴影等二维特征来推导出场 景深度信息，但重建效果一般。另一些利用标注有检测数据的单目图像训练得 到目标检测神经网络，由于单目图像中不具有准确的三维深度信息和尺度信息， 使得训练得到的目标检测神经网络的准确度较低；或者也可以通过激光雷达、 深度模型等方式确定单目图像的深度信息，再利用深度信息和标注有检测数据 的单目图像训练得到目标检测神经网络，由于深度信息的获取较为复杂，造成 目标对象的检测过程也较为复杂，检测时间较长，检测效率低。

发明内容

本发明针对现有技术中的不足，提供了一种用于三维重建的神经网络训练 方法，包括如下步骤：

S1，获取与原始尺寸相同大小的一组立体图片，所述立体图片包括一左图 和一右图，通过局部立体视觉匹配得到对应的第一稠密视差图；

S2，对所述左图和右图进行多次不同比例的缩放，获得多组不同比例的立 体图片；

S3，将缩放后获得的各组立体图片中的左图和右图进行双目立体匹配，得 到该组立体图片对应的小尺度稠密视差图；

S4，将不同比例的各稠密视差图分别进行上采样转换成原始比例，获得与 原始尺寸相同的多个第二稠密视差图。

S5，基于所述多个第二稠密视差图进行神经网络训练，得到用于目标检测 的神经网络。

优选的，所述步骤S5还包括：

S51，根据预设筛选规则对第二稠密视差图内各像素点进行筛选后获得第三 稠密视差图；

S52，将第三稠密视差图作为正确标注数据进行神经网络训练，得到用于双 目三维重建的目标检测的神经网络。

优选的，所述步骤S51包括：

S511，计算每个像素点在各第二稠密视差图内视差值的方差；

S512，如果方差大于预设阈值则删除像素点，否则保留该像素点形成第三 稠密视差图。

优选的，所述步骤S5还包括：通过判断的差值来判断视差图对应点(i,j)是否为遮挡区域，其中为估计出的左视差 图，为估计出的右视差图，如该差值大于预设阈值则为遮挡区域并删除。

优选的，所述步骤S1还包括：输入与原始尺寸相同的立体图片，所述立体 图片包括左图I_L和右图I_R，通过下述立体视觉匹配算法得到对应的第一稠密视 差图，所述立体视觉匹配算法为其中(i,j)为左图中选取的方块的中心点坐标，d为视差，(s,t) 为上述方块的临近点坐标。