[发明专利]基于金字塔池化模块的单目图像深度估计方法

摘要

本发明公开了一种基于金字塔池化模块的单目图像深度估计方法，其在训练阶段，先构建神经网络，其包括输入层、隐层和输出层；隐层包括单独的第一卷积层、特征提取网络框架、尺度恢复网络框架、单独的第二卷积层、金字塔池化模块、单独的连接层；再将训练集中的每幅原始的单目图像作为原始输入图像，输入到神经网络中进行训练，并通过计算训练集中的每幅原始的单目图像对应的预测深度图像与对应的真实深度图像之间的损失函数值，得到训练好的神经网络模型的最优权值矢量和最优偏置项；在测试阶段，将待预测的单目图像输入到神经网络模型中，并利用最优权值矢量和最优偏置项进行预测，得到预测深度图像；优点是其预测精度高，且计算复杂度低。

主权项

1.一种基于金字塔池化模块的单目图像深度估计方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1：选取Q幅原始的单目图像及每幅原始的单目图像对应的真实深度图像，并构成训练集，将训练集中的第q幅原始的单目图像记为{I^q(i,j)}，将训练集中与{I^q(i,j)}对应的真实深度图像记为其中，Q为正整数，Q≥200，q为正整数，1≤q≤Q，1≤i≤W，1≤j≤H，W表示{I^q(i,j)}和的宽度，H表示{I^q(i,j)}和的高度，I^q(i,j)表示{I^q(i,j)}中坐标位置为(i,j)的像素点的像素值，表示中坐标位置为(i,j)的像素点的像素值；步骤1_2：构建神经网络：神经网络包括输入层、隐层和输出层；隐层包括单独的第一卷积层、特征提取网络框架、尺度恢复网络框架、单独的第二卷积层、金字塔池化模块、单独的连接层；对于输入层，输入层的输入端接收一幅原始输入图像，输入层的输出端输出原始输入图像给隐层；其中，要求输入层的输入端接收的原始输入图像的宽度为W、高度为H；对于单独的第一卷积层，单独的第一卷积层的输入端接收输入层的输出端输出的原始输入图像，单独的第一卷积层的输出端输出K幅特征图，将K幅特征图构成的集合记为P1，其中，单独的第一卷积层的卷积核尺寸为3×3、激活函数采用线性整流函数，K＝64，P1中的每幅特征图的宽度为W、高度为H；对于特征提取网络框架，其包括4个特征提取网络块，第1个特征提取网络块由依次设置的1个Conv block和2个Identity block组成，第2个特征提取网络块由依次设置的1个Conv block和3个Identity block组成，第3个特征提取网络块由依次设置的1个Conv block和5个Identity block组成，第4个特征提取网络块由依次设置的1个Conv block和2个Identity block组成，其中，第1个特征提取网络块中的Conv block和Identity block各自中的第1个卷积层的卷积核的个数为64、第2个卷积层的卷积核的个数为64、第3个卷积层的卷积核的个数为256，第2个特征提取网络块中的Conv block和Identity block各自中的第1个卷积层的卷积核的个数为128、第2个卷积层的卷积核的个数为128、第3个卷积层的卷积核的个数为512，第3个特征提取网络块中的Conv block和Identity block各自中的第1个卷积层的卷积核的个数为256、第2个卷积层的卷积核的个数为256、第3个卷积层的卷积核的个数为1024，第4个特征提取网络块中的Conv block和Identity block各自中的第1个卷积层的卷积核的个数为512、第2个卷积层的卷积核的个数为512、第3个卷积层的卷积核的个数为2048；对于特征提取网络框架，第1个特征提取网络块的输入端接收P₁中的所有特征图，第1个特征提取网络块的输出端输出K'幅特征图，将K'幅特征图构成的集合记为P₂，其中，K'＝256，P₂中的每幅特征图的宽度为高度为符号为向下取整运算符号；第2个特征提取网络块的输入端接收P₂中的所有特征图，第2个特征提取网络块的输出端输出2K'幅特征图，将2K'幅特征图构成的集合记为P₃，其中，K'＝256，P₃中的每幅特征图的宽度为高度为第3个特征提取网络块的输入端接收P₃中的所有特征图，第3个特征提取网络块的输出端输出4K'幅特征图，将4K'幅特征图构成的集合记为P₄，其中，K'＝256，P₄中的每幅特征图的宽度为高度为第4个特征提取网络块的输入端接收P₄中的所有特征图，第4个特征提取网络块的输出端输出8K'幅特征图，将8K'幅特征图构成的集合记为P₅，其中，K'＝256，P₅中的每幅特征图的宽度为高度为对于尺度恢复网络框架，其包括4个上采样块和4个连接层，每个上采样块由依次设置的第一卷积层、Identity block、第二卷积层、上采样层组成，其中，每个上采样块中的第一卷积层和第二卷积层的卷积核尺寸为3×3、激活函数采用线性整流函数，第1个上采样块中的Identity block中的第1个卷积层、第2个卷积层、第3个卷积层的卷积核的个数均为512，第2个上采样块中的Identity block中的第1个卷积层、第2个卷积层、第3个卷积层的卷积核的个数均为256，第3个上采样块中的Identity block中的第1个卷积层、第2个卷积层、第3个卷积层的卷积核的个数均为128，第4个上采样块中的Identity block中的第1个卷积层、第2个卷积层、第3个卷积层的卷积核的个数均为64，每个上采样块中的上采样层的恢复尺度值为2，上采样层用于使其输出的图像的尺寸为其输入的图像的尺寸的2倍；对于尺度恢复网络框架，第1个上采样块的输入端接收P₅中的所有特征图，第1个上采样块的输出端输出2K'幅特征图，将2K'幅特征图构成的集合记为U₁，其中，K'＝256，U₁中的每幅特征图的宽度为高度为第1个连接层的输入端接收U₁中的所有特征图和P₄中的所有特征图，第1个连接层通过Concatence方式连接U₁和P₄得到集合U_1*，第1个连接层的输出端输出U_1*，其中，U_1*中的每幅特征图的宽度为高度为U_1*中包含的特征图的总幅数为2K'+4K'；第2个上采样块的输入端接收U_1*中的所有特征图，第2个上采样块的输出端输出K'幅特征图，将K'幅特征图构成的集合记为U₂，其中，K'＝256，U₂中的每幅特征图的宽度为高度为第2个连接层的输入端接收U₂中的所有特征图和P₃中的所有特征图，第2个连接层通过Concatence方式连接U₂和P₃得到集合U_2*，第2个连接层的输出端输出U_2*，其中，U_2*中的每幅特征图的宽度为高度为U_2*中包含的特征图的总幅数为K'+2K'；第3个上采样块的输入端接收U_2*中的所有特征图，第3个上采样块的输出端输出2K幅特征图，将2K幅特征图构成的集合记为U₃，其中，K＝64，U₃中的每幅特征图的宽度为高度为第3个连接层的输入端接收U₃中的所有特征图和P₂中的所有特征图，第3个连接层通过Concatence方式连接U₃和P₂得到集合U_3*，第3个连接层的输出端输出U_3*，其中，U_3*中的每幅特征图的宽度为高度为U_3*中包含的特征图的总幅数为2K+K'；第4个上采样块的输入端接收U_3*中的所有特征图，第4个上采样块的输出端输出K幅特征图，将K幅特征图构成的集合记为U₄，其中，K＝64，U₄中的每幅特征图的宽度为W、高度为H；第4个连接层的输入端接收U₄中的所有特征图和P₁中的所有特征图，第4个连接层通过Concatence方式连接U₄和P₁得到集合U_4*，第4个连接层的输出端输出U_4*，其中，U_4*中的每幅特征图的宽度为W、高度为H，U_4*中包含的特征图的总幅数为K+K；对于单独的第二卷积层，单独的第二卷积层的输入端接收U4*中的所有特征图，单独的第二卷积层的输出端输出K幅特征图，将K幅特征图构成的集合记为U，其中，单独的第二卷积层的卷积核尺寸为3×3、激活函数采用线性整流函数，K＝64，U中的每幅特征图的宽度为W、高度为H；对于金字塔池化模块，其包括4个池化块和1个连接层，每个池化块由依次设置的平均池化层、插孔卷积层、上采样层组成，其中，第1个池化块中的平均池化层的池化尺寸为1×1，第2个池化块中的平均池化层的池化尺寸为2×2，第3个池化块中的平均池化层的池化尺寸为3×3，第4个池化块中的平均池化层的池化尺寸为6×6，每个池化块中的插孔卷积层的卷积核尺寸为3×3、卷积核个数为K个，第1个池化块中的插孔卷积层的膨胀率为1×1，第2个池化块中的插孔卷积层的膨胀率为2×2，第3个池化块中的插孔卷积层的膨胀率为3×3，第4个池化块中的插孔卷积层的膨胀率为6×6，每个池化块中的上采样层的恢复尺度值为16，上采样层用于使其输出的图像的尺寸为其输入的图像的尺寸的16倍；对于金字塔池化模块，第1个池化块的输入端接收P5中的所有特征图，第1个池化块的输出端输出K幅特征图，将K幅特征图构成的集合记为A1，其中，K＝64，A1中的每幅特征图的宽度为W、高度为H；第2个池化块的输入端接收A1中的所有特征图，第2个池化块的输出端输出K幅特征图，将K幅特征图构成的集合记为A2，其中，K＝64，A2中的每幅特征图的宽度为W、高度为H；第3个池化块的输入端接收A2中的所有特征图，第3个池化块的输出端输出K幅特征图，将K幅特征图构成的集合记为A3，其中，K＝64，A3中的每幅特征图的宽度为W、高度为H；第4个池化块的输入端接收A3中的所有特征图，第4个池化块的输出端输出K幅特征图，将K幅特征图构成的集合记为A4，其中，K＝64，A4中的每幅特征图的宽度为W、高度为H；连接层的输入端接收A1、A2、A3、A4中的所有特征图，连接层通过Concatence方式连接A1、A2、A3、A4得到集合B，连接层的输出端输出B，其中，B中的每幅特征图的宽度为W、高度为H，B中包含的特征图的总幅数为K+K+K+K；对于单独的连接层，单独的连接层的输入端接收U中的所有特征图和B中的所有特征图，单独的连接层通过Concatence方式连接U和B得到集合C，单独的连接层的输出端输出C，其中，C中的每幅特征图的宽度为W、高度为H，C中包含的特征图的总幅数为K+K+K+K+K；对于输出层，其包括1个卷积层，其中，卷积层的卷积核尺寸为3×3、激活函数采用线性整流函数；输出层的输入端接收C中的所有特征图，输出层的输出端输出一幅原始输入图像对应的预测深度图像；步骤1_3：将训练集中的每幅原始的单目图像作为原始输入图像，输入到神经网络中进行训练，得到训练集中的每幅原始的单目图像对应的预测深度图像，将{I^q(i,j)}对应的预测深度图像记为其中，表示中坐标位置为(i,j)的像素点的像素值；步骤1_4：计算训练集中的每幅原始的单目图像对应的预测深度图像与对应的真实深度图像之间的损失函数值，将与之间的损失函数值记为步骤1_5：重复执行步骤1_3和步骤1_4共V次，得到训练好的神经网络模型，并共得到Q×V个损失函数值；然后从Q×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为训练好的神经网络模型的最优权值矢量和最优偏置项，对应记为Wbest和bbest；其中，V＞1；所述的测试阶段过程的具体步骤为：步骤2_1：令表示待预测的单目图像；其中，1≤i'≤W'，1≤j'≤H'，W'表示的宽度，H'表示的高度，表示中坐标位置为(i,j)的像素点的像素值；步骤2_2：将输入到训练好的神经网络模型中，并利用W^best和b^best进行预测，得到对应的预测深度图像，记为其中，表示中坐标位置为(i',j')的像素点的像素值。