[发明专利]基于金字塔池化模块的单目图像深度估计方法

说明书

本发明公开了一种基于金字塔池化模块的单目图像深度估计方法，其在训练阶段，先构建神经网络，其包括输入层、隐层和输出层；隐层包括单独的第一卷积层、特征提取网络框架、尺度恢复网络框架、单独的第二卷积层、金字塔池化模块、单独的连接层；再将训练集中的每幅原始的单目图像作为原始输入图像，输入到神经网络中进行训练，并通过计算训练集中的每幅原始的单目图像对应的预测深度图像与对应的真实深度图像之间的损失函数值，得到训练好的神经网络模型的最优权值矢量和最优偏置项；在测试阶段，将待预测的单目图像输入到神经网络模型中，并利用最优权值矢量和最优偏置项进行预测，得到预测深度图像；优点是其预测精度高，且计算复杂度低。

技术领域

本发明涉及一种图像深度估计技术，尤其是涉及一种基于金字塔池化模块的单目图像深度估计方法。

背景技术

深度估计是使用一幅或多幅图像来预测场景的深度图的过程。深度信息是理解场景中几何关系的重要线索，可应用于多种场景如3D模型重建、立体匹配、人类姿势估计等。深度信息可以从包含左、右视点的立体图像或运动序列中获得，它们分别从空间上和时间上为理解深度信息提供了相对丰富的信息。相比之下，从单目图像中估计深度的难度更大，也更模糊，因为它不允许在立体图像的空间上或者运动序列的时间上进行匹配。2016年，Laina I等人提出全卷积残差网络(Fully Convolutional Residual Networks，FCRN)框架，其通过将图像尺寸变小再通过恢复的方式较好地实现了深度估计，但是由于结构较为简单，对于神经网络提取的高级特征没有充分利用，因此预测精度仍然存在改进的空间。

发明内容

本发明所要解决的技术问题是提供一种基于金字塔池化模块的单目图像深度估计方法，其预测精度高，且计算复杂度低。

本发明解决上述技术问题所采用的技术方案为：一种基于金字塔池化模块的单目图像深度估计方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：

步骤1_1：选取Q幅原始的单目图像及每幅原始的单目图像对应的真实深度图像，并构成训练集，将训练集中的第q幅原始的单目图像记为{I^q(i,j)}，将训练集中与{I^q(i,j)}对应的真实深度图像记为其中，Q为正整数，Q≥200，q为正整数，1≤q≤Q，1≤i≤W，1≤j≤H，W表示{I^q(i,j)}和的宽度，H表示{I^q(i,j)}和的高度，I^q(i,j)表示{I^q(i,j)}中坐标位置为(i,j)的像素点的像素值，表示中坐标位置为(i,j)的像素点的像素值；

步骤1_2：构建神经网络：神经网络包括输入层、隐层和输出层；隐层包括单独的第一卷积层、特征提取网络框架、尺度恢复网络框架、单独的第二卷积层、金字塔池化模块、单独的连接层；

对于输入层，输入层的输入端接收一幅原始输入图像，输入层的输出端输出原始输入图像给隐层；其中，要求输入层的输入端接收的原始输入图像的宽度为W、高度为H；

对于单独的第一卷积层，单独的第一卷积层的输入端接收输入层的输出端输出的原始输入图像，单独的第一卷积层的输出端输出K幅特征图，将K幅特征图构成的集合记为P₁，其中，单独的第一卷积层的卷积核尺寸为3×3、激活函数采用线性整流函数，K＝64，P₁中的每幅特征图的宽度为W、高度为H；