[发明专利]一种用于三维重建的神经网络训练方法和系统

权利要求书

1.一种用于三维重建的神经网络训练方法，其特征在于，包括如下步骤：

S1，获取与原始尺寸相同大小的一组立体图片，所述立体图片包括一左图和一右图，通过局部立体视觉匹配得到对应的第一稠密视差图；

S2，对所述左图和右图进行多次不同比例的缩放，获得多组不同比例的立体图片；

S3，将缩放后获得的各组立体图片中的左图和右图进行双目立体匹配，得到该组立体图片对应的小尺度稠密视差图；

S4，将不同比例的各稠密视差图分别进行上采样转换成原始比例，获得与原始尺寸相同的多个第二稠密视差图；

S5，基于所述多个第二稠密视差图进行神经网络训练，得到用于目标检测的神经网络，所述步骤S5还包括：

S51，根据预设筛选规则对第二稠密视差图内各像素点进行筛选后获得第三稠密视差图；

S52，将第三稠密视差图作为正确标注数据进行神经网络训练，通过优化一个联合的损失函数，其中为的权重，为权重，表示重建损失, 其中， SSIM为结构相似度，α为权重, P为图像中任意一点,为原始的双目左图，表示平滑损失,其中 ； 其中表示多尺度可信度投票模块导向损失，，其中是平滑函数，x是函数的自变量，是多尺度可信度投票模块生成的半密集视差图像，是预测视差图，是半密集视差图像中观察到的像素数，为根据利用I_R重建的图像，是重建图像中观察到的像素数量，得到用于双目三维重建的目标检测的神经网络。

2.根据权利要求1所述的用于三维重建的神经网络训练方法，其特征在于，所述步骤S51包括：

S511，计算每个像素点在各第二稠密视差图内视差值的方差；

S512，如果方差大于预设阈值则删除像素点，否则保留该像素点形成第三稠密视差图。

3.根据权利要求2所述的用于三维重建的神经网络训练方法，其特征在于，所述步骤S5还包括：

通过判断的差值来判断视差图对应点（i,j）是否为遮挡区域，其中为估计出的左视差图，为估计出的右视差图，如该差值大于预设阈值则为遮挡区域并删除。

4.根据权利要求3所述的用于三维重建的神经网络训练方法，其特征在于，所述步骤S1还包括：

输入与原始尺寸相同的立体图片，所述立体图片包括左图I_L和右图I_R，通过下述立体视觉匹配算法得到对应的第一稠密视差图，所述立体视觉匹配算法为 ，其中(i,j)为左图中选取的方块的中心点坐标，d为视差，(s,t)为上述方块的临近点坐标。

5.一种用于三维重建的神经网络训练系统，其特征在于，包括：

相机图片获取模块，被配置为获取与原始尺寸相同大小的一组立体图片，所述立体图片包括一左图和一右图，通过局部立体视觉匹配得到对应的第一稠密视差图；

图片缩放模块，用于对所述左图和右图进行多次不同比例的缩放，获得多组不同比例的立体图片；

第一视差图获取模块，用于将缩放后获得的各组立体图片中的左图和右图进行双目立体匹配，得到该组立体图片对应的小尺度稠密视差图；

第二视差图获取模块，用于将不同比例的各稠密视差图分别进行上采样转换成原始比例，获得与原始尺寸相同的多个第二稠密视差图；

训练模块，用于基于所述多个第二稠密视差图进行神经网络训练，得到用于目标检测的神经网络，所述训练模块具体包括：

第三视差图获取模块，用于根据预设筛选规则对第二稠密视差图内各像素点进行筛选后获得第三稠密视差图；

神经网络获取模块，将第三稠密视差图作为正确标注数据进行神经网络训练，通过优化一个联合的损失函数，其中为的权重，为的权重，表示重建损失,其中， SSIM为结构相似度，α为权重, P为图像中任意一点,为原始的双目左图，表示平滑损失,其中 ； 其中表示多尺度可信度投票模块导向损失， ，其中是平滑函数，x是函数的自变量，是多尺度可信度投票模块生成的半密集视差图像，是预测视差图，是半密集视差图像中观察到的像素数，为根据利用I_R重建的图像，是重建图像中观察到的像素数量，得到用于双目三维重建的目标检测的神经网络。