[发明专利]具有自我提升能力的金字塔双目深度估计模型

说明书

本发明涉及深度学习、二维图像深度重建领域，具体涉及一种具有自我提升能力的金字塔双目深度估计模型，其主要包括以下步骤：1)搭建空间金字塔模块；2)进行代价整合；3)多层回归输出；4)计算损失函数。本发明在金子塔双目模型的基础上，利用SPN(空间转换网络)根据模型生成的视差图对双目图像进行重建，并根据重建图像与原图像之间的损失对模型进行训练从而模型可以在没有任何预处理雷达数据的情况下进行训练，在有预处理的雷达数据的情况下，经过监督训练之后的模型在测试时可以通过利用双目重建损失进行在线训练以提升其表现。

技术领域

本发明涉及深度学习、二维图像深度重建领域，具体涉及一种具有自我提升能力的金字塔双目深度估计模型。

背景技术

对于经过矫正的双目图片，如果左图中坐标点为(x,y)的像素点a与右图中坐标点为(x-d,y)的a`点匹配，d我们称为视差，则a点和a`点到摄像头的距离(即深度)＝相机焦距*两相机中心距离÷视差。因为视差d和深度成反比，所以我们可以将求解深度的问题转化为求解双目图像的视差。

现有的技术方案中，金字塔双目深度模型用SPP-Module(空间金字塔模块)(即不采用单一固定尺寸的池化，而是用四种大小的池化核对图像进行特征提取，并将四组特征上采样为固定尺寸特征并结合在一起)取代传统的GC-NET(几何与结构关系网络)的特征提取部分。在GC-NET的损失匹配之后建立三组编码-解码三维卷积模块，每一模块会生成一组视差图，在训练阶段利用这三组视差图进行逐级训练，在测试阶段以最后一级卷积模块的视差图为最终结果。

现有的方案如果将其在某一特定场景下训练所得的模型应用到新场景时，例如将在城市街道环境下训练后所得的模型应用到乡村街道的环境下，模型的表现将会变差，视差计算的误差变大；现有的模型只可以在有预先根据雷达扫描结果生成的视差图的条件下进行有监督学习，但是雷达的工作成本十分大，并且预先计算好的视差图数量有限造成模型的深度计算能力有限。

发明内容

为解决上述背景技术中存在的问题，本发明提出一种具有自我提升能力的金字塔双目深度估计模型，基于双目图像可以根据视差结果进行相互的图像重建这一特点，即左图可以根据右图生成的视差图片计算合成的右图，通过计算左右新合成图像与原始左右图像之间的损失进行训练使得模型可以不用依赖雷达数据进行学习以及当模型被应用到新场景中时可以通过在线学习的方式提高其深度计算的准确率。

本发明解决上述问题的技术方案是：一种具有自我提升能力的金字塔双目深度估计模型，其特殊之处在于，包括以下步骤：

1)搭建空间金字塔模块；

2)进行代价整合；

3)多层回归输出；

4)计算损失函数。

进一步地，上述步骤1)中搭建空间金字塔模块，具体为：

空间金字塔模块采用四种尺寸：8*8、16*16、32*32、64*64池化层，每个池化层后紧随卷积层和激活层；将所有特征都上采样为同一尺寸w/4*h/4，并将这些特征在通道的维度上融合在一起，融合后的特征作为下一层的输入；其中，w为输入图像的宽，h为输入图像的高。

进一步地，上述步骤2)中进行代价整合，具体为：

将左右图像各生成的特征在每个视差值上进行滑动融合，得到特征数为w/4*h/4*d/4*的三维特征模块。

进一步地，上述步骤3)中，

编码阶段进行步长为1、2、1的卷积操作，解码阶段进行2次步长为2的反卷积操作；每组编码解码模块的输出上采样为w*h*d，并进行归一化操作，并利用