[发明专利]图像深度信息单目估计方法、设备及可读存储介质

说明书

本发明公开了一种图像深度信息单目估计方法、设备及存储介质，包括，将待估计图像作为预训练好的自监督通道混合网络的输入；其中，利用编码器模块对待估计图像进行编码，得到若干不同层次的语义特征图；若干语义特征图的语义层次不同，且分辨率不同；利用通道混合模块将若干不同层次语义特征图在通道方向进行混合、分散，得到不同分辨率的融合特征；利用解码器模块分别对不同分辨率的融合特征进行解码，得到对应分辨率的深度估计，即得到待估计图像的深度图像；本发明通过解码器模块对融合特征进行解码，获得待估计图像的深度图像，深度图具有更可靠的局部和全局信息；本发明的深度估计效果相较于现有不包含通道混合模块的基准方法得到较大提升。

技术领域

本发明属于3D计算机视觉技术领域，特别涉及一种图像深度信息单目估计方法、设备及可读存储介质。

背景技术

深度估计是计算机视觉领域一个非常重要的问题，它广泛应用于自动驾驶和虚拟现实等领域。为了解决这个问题，基于单目相机、多目相机和雷达深度传感器等多种传感器配置的方法被提出来；其中，基于单目相机的深度估计方法配置最为简单，但是因为基于单目的方法存在尺度模糊性质，该类方法也最有难度。现阶段深度估计方法表现最好的是基于深度学习的有监督训练方法，其依赖大量的有深度真值标签的数据，然而精确的深度真值获取成本较高，且特定场景下的数据训练的模型很难在不同的场景下适应，因此很难得到广泛应用。目前，基于图像对或者视频的自监督单目深度估计方法取得了很大的进步，不需要有标签的数据来进行训练，全部的监督信息来自于图像纹理信息和几何约束，因此可以广泛地利用大量的无标签数据集来进行训练，且在不同场景下可以很好地适应。

具体地，自监督的单目深度估计方法在测试时只需要单张图片，训练时可以分为两类场景：单目视频序列和立体图像对；二者的核心思想都是通过估计的深度图在不同的视角下建立像素间的对应关系；基于单目视频序列的训练方法需要同时估计深度图以及相机运动。而基于立体图像对的方法，因为双目相机间的相对位置关系已经提前标定，因此只需要估计深度图即可，该方法相较于基于视频序列方法表现也更加优越。

随着深度学习技术的迅速发展，基于神经网络的自监督单目深度估计的方法相比传统方法，性能有了很大提升；考虑基于立体图像对的训练方法，Poggi等人提出从三相机配置的图像对中学习，中间图像的深度估计分别依赖和左右视图的几何约束关系；Tosi等人提出将传统方法如SGM的的估计结果来辅助监督网络的训练，其中SGM的估计结果用左右视图一直性约束来优化；Zhu等人提出用语义分割的结果来引导深度图轮廓的优化；Gonzalez等人采用镜像遮挡模块来估计遮挡区域，有效解决了遮挡对网络训练的干扰；这些方法大多利用如Resnet的网络作为编码器，提取图像的多尺度和层次的特征，再利用解码器从这些特征中得到深度估计。上述方法在融合不同层次特征时只是进行简单的相加或者在通道上叠加，没有充分利用到不同层次特征间的优势和互相补充关系，使得网络的表现没有更进一步。

为了解决group convolution中不同组之间特征的难以交流的问题，提出了channel shuffle的操作，对group convolution后的特征在通道方向进行重组；Su等人为了解决人体位姿估计中遮挡等困难场景下关键点检测问题，利用channel shuffle融合了不同特征，增强了各个层次特征的交流，使得检测精度得以提升。

目前，在深度估计领域，还没有方法尝试探索如何更有效的融合深度估计网络中不同层次的特征，增强特征的表达能力。

发明内容

针对现有技术中存在的技术问题，本发明提供了一种图像深度信息单目估计方法、设备及可读存储介质，以解决现有的深度估计方法，对不同层次的特征未能进行充分融合，无法利用不同层次特征间的优势互补，对深度估计网络表现影响较大，深度信息估计结果精度较低的技术问题。

为达到上述目的，本发明采用的技术方案为：

本发明提供了一种图像深度信息单目估计方法，包括以下步骤：