[发明专利]基于空洞卷积和半监督学习的图像深度估计系统与方法

权利要求书

1.一种基于空洞卷积和半监督学习的图像深度估计系统，包括编解码器模块和与之对称连接的解码器模块，编解码器模块输入待估计的图像，解码器模块得到并输出估计出的深度图，其特征在于，编解码器模块和解码器模块之间加入了空洞卷积模块；空洞卷积模块的主体为一个包含4个并行连接的具有不同膨胀率的卷积核的空洞卷积金字塔模型。

2.根据权利要求1所述的一种基于空洞卷积和半监督学习的图像深度估计系统，其特征在于，编解码器模块的输出作为空洞卷积模块的输入，空洞卷积模块的输出作为解码器模块的输入；编解码器模块由4个卷积块构成，每个卷积块包含两个卷积层，解码器模块由4个反卷积层构成，编解码器模块和解码器模块具有对称结构，并进行跳跃连接。

3.一种基于空洞卷积和半监督学习的图像深度估计方法，在权利要求1、2所述的任一基于空洞卷积和半监督学习的图像深度估计系统上实现，其特征在于，具体包括以下步骤：

步骤1：构建基于空洞卷积的深度学习网络模型：在模型中使用空洞卷积，构成一个由编解码器模块、空洞卷积模块和解码器模块共同组成的网络结构；

步骤2：获取训练集和测试集：训练集和测试集由立体图像对和对应的深度图构成，并对训练集数量进行扩充；

步骤3：利用半监督的学习策略训练模型：将训练集的数据输入到深度学习网络模型，根据深度估计误差、图像重建误差和深度图平滑误差所构成的损失函数，调整模型参数，并将训练好的网络权重参数保留为文件，作为训练好的深度学习网络模型；

步骤4：用测试集测试模型精度：将测试集的数据输入训练好的深度学习网络模型，测试图像深度估计的精度；

步骤5：使用模型估计图像深度：加载训练好的网络权重参数，将待预测的图像输入训练好的深度学习网络模型，获得其深度图。

4.如权利要求3所述的一种基于空洞卷积网络和半监督学习的图像深度估计方法，其特征在于，步骤2所述的对训练集数量进行扩充包括对图像进行随机水平翻转、调整图像的亮度、伽马值和颜色值。

5.如权利要求3所述的一种基于空洞卷积和半监督学习的图像深度估计方法，其特征在于，步骤3所述的半监督的学习策略为：

3.1)将真实深度图作为标签，通过减小深度估计误差进行监督学习；

3.2)利用双目立体视觉中的像素点匹配和三角测量原理，将图像深度估计问题转换为图像重建问题，通过减小图像重建误差进行无监督学习。

6.如权利要求5所述的一种基于空洞卷积和半监督学习的图像深度估计方法，其特征在于，步骤3.1)所述的深度估计误差为真实深度值的对数和预测深度值的对数的平均绝对值误差。

7.如权利要求5所述的一种基于空洞卷积和半监督学习的图像深度估计方法，其特征在于，3.2)所述的将图像深度估计问题转换为图像重建问题，具体是：

图像深度估计问题转换为图像重建问题的具体转换方式为：

3.2.1)对于立体图像对的左视图I_l，输入网络模型估计其深度图Z_pred；

3.2.2)根据三角测量原理，计算左右视图之间的视差图d_l，即：

其中，f为获取输入图像所使用的双目立体相机的焦距，b为左右相机中心点之间的距离；

3.2.3)根据立体图像对中的右视图I_r和视差图d_l，利用双线性插值重建左视图

其中i,j为图像中像素点的横纵坐标；

(3.2.4)采用均方误差来计算图像重建误差，通过减小图像重建误差，即重建图像与原图像I_l的均方误差，来间接提高深度预测的精度。

8.如权利要求3所述的一种基于空洞卷积和半监督学习的图像深度估计方法，其特征在于，步骤3所述的深度图平滑误差L_ds为：

式中，I_gray为对输入图像进行灰度化并高斯平滑后的灰度图，Z_pred为估计得到的深度图，i,j为图像像素点对应横纵坐标，表示对深度图水平方向的求导所得图像，表示对深度图垂直方向的求导所得图像，S_x(I_gray)表示利用Sobel算子对I_gray横向计算边缘所得图像，S_y(I_gray)表示利用Sobel算子对I_gray纵向计算边缘所得图像。