[发明专利]一种基于相对深度训练的半监督学习三维重建方法

说明书

本发明提供了一种基于相对深度训练的半监督学习三维重建方法，首先构建用于三维重建网络训练的目标物体图像数据集，搭建U型结构的三维重建网络模型，对三维重建网络模型进行无监督和半监督训练，对训练好的三维重建网络进行减支，将三维重建网络中用于计算损失的多尺度预测分支进行裁剪，只留下最后一层的输出；预测时，三维重建网络模型输入单张图像、输出一张视差图，再结合双目相机的参数以及视差‑深度的转换关系，计算得到深度图，最终完成三维重建。本发明解决了现有基于深度学习的三维重建算法中存在的无监督训练精度不高、有监督训练真实数据难以获取等问题。

技术领域

本发明涉及机器视觉的三维重建技术领域，具体涉及一种基于相对深度训练的半监督学习三维重建方法。

背景技术

三维重建作为环境感知的关键技术之一，其用处涉及自动驾驶、虚拟现实、运动目标监测、行为分析、安防监控和重点人群监护等。目前大部分三维重建都是基于二维RGB图像到RBG-D图像的转化估计，主要包括从图像明暗、不同视角、光度、纹理信息等获取场景深度形状的Shape from X方法，还有结合SFM和SLAM等方式预测相机位姿的算法。虽然有很多设备可以直接获取深度，比如激光雷达，但因其价格昂贵，目前多用于技术研发和测试阶段，距离大规模市场化应用还有一定的距离；除此之外，近年来随着卷积神经网络的快速发展，基于深度学习的三维重建技术逐渐成为了研究的热点。

目前国内外很多学者对三维重建这个领域进行了深入的研究，也取得了一些较大的进展，基于有监督和无监督深度学习的三维重建算法也取得了非常好的效果。但同时这些算法都各自存在着一些问题：(1)基于完全监督的方法需要真实三维数据训练，但是深度数据的获取难度较高且成本较大；(2)基于无监督或自监督的方法完全不利用三维信息导致精度不高，并且需要挖掘先验知识。

发明内容

针对现有技术中存在不足，本发明提供了一种基于相对深度训练的半监督学习三维重建方法，克服有监督方法数据获取难，无监督方法精度低、鲁棒性不强等问题。

本发明是通过以下技术手段实现上述技术目的的。

一种基于相对深度训练的半监督学习三维重建方法，包括如下步骤：

S1，通过双目相机采集目标物体的立体图像对，并对每一对图像进行处理，包括对图像的矫正以及人工标注，处理后的图像构成训练数据集；

S2，搭建U型结构的三维重建网络模型，包括特征提取部分和解码部分，所述特征提取部分的基础网络模块采用残差结构，所述特征提取部分还引入了卷积核注意力机制；

S3，将立体图像对输入三维重建网络进行特征提取，预测得到一对视差图，利用预测视差图以及视差图-原图的关系，重构出一对原图，通过重构原图和真实原图的对比计算重构误差损失；

S4，在S3中获得的预测视差图上进行训练，构建对应的损失项，对不满足相对深度值的像素点对进行惩罚；

S5，对训练好的三维重建网络进行减支，将三维重建网络中用于计算损失的多尺度预测分支进行裁剪，只留下最后一层的输出；预测时，三维重建网络模型输入单张图像、输出一张视差图，再结合双目相机的参数以及视差-深度的转换关系，计算得到深度图，最终完成三维重建。

上述技术方案中，所述人工标注具体为：

在目标物体的立体图像对上均进行标注，在立体图像对的两张图像上选择不同的像素点对进行标注，每张图像上选取两对像素点，标注出这两对像素点的相对深度关系，并把相对深度关系量化，转为相对深度值R；按照取点顺序，若第一个点比第二个点远，令R＝1，若第一个点比第二个点近，令R＝-1，若两个点同深度，令R＝0。

上述技术方案中，所述残差结构具体为：