[发明专利]一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法

权利要求书

1.一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法，其特征在于，具体包括：

先使用残差卷积神经网络对输入的左右立体图像进行特征提取得到特征图，通过分组空洞卷积金字塔池化模块GASPP对所述特征图进行处理，从不同尺度提取待匹配像素的上下文信息，获得多尺度、稠密的特征信息；

堆叠所述特征图构成匹配代价卷，用于度量所述待匹配像素与候选像素之间的相关性；

采用三维堆叠沙漏网络对所述匹配代价卷进行正则化操作，得到原始尺寸特征图；

利用回归函数对原始尺寸特征图进行视差回归操作。

2.根据权利要求1所述一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法，其特征在于，所述残差卷积神经网络包括3*3的卷积层，每一卷积层后面均有批规则化层、RELU激活函数层。

3.根据权利要求1所述一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法，其特征在于，所述分组空洞卷积金字塔池化模块GASPP设计了四组空洞卷积层，并在组内分配两组连续小的扩张率卷积层；各组之间的扩张率呈增大趋势，形成{(2,3)(5,6)(8,9)(11,12)}四个平行分支，提供不同尺度的空间信息特征图，且四个平行分支相互补充，最后将输出进行累积，得到包含多尺度空间信息的特征图，其公式表达如下：

y＝G¹_3,2(x)+G¹_3,3(x)+G²_3,5(x)+G²_3,6(x)+G³_3,8(x)+G³_3,9(x)+G⁴_3,11(x)+G⁴_3,12(x)

其中，Gⁿ_K,d(x)代表一个分组空洞卷积；d为扩张率的大小，K代表核的尺寸大小，n为组号。

4.根据权利要求1所述一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法，其特征在于，构成匹配代价卷分为两个阶段，第一阶段为：对特征图体积进行处理，通过卷积层将初始通道数量由32个改变为320个，与残差卷积神经网络的通道数量一致；第二阶段为：使用一个2D卷积层将特征通道数量减少到160个，然后使用另一个2D卷积层将特征通道数量减少到80个。

5.根据权利要求1所述一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法，其特征在于，所述堆叠沙漏网络中编码器利用3个3D卷积层进行下采样，解码器对称使用3个3D反卷积层来进行上采样操作；最后通过双边线性插值方法恢复特征图到原始尺寸，得到匹配代价矩阵。

6.根据权利要求5所述一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法，其特征在于，对匹配代价矩阵进行视差回归操作，正则化处理来得到每个像素属于不同视差的概率；然后以概率值作为权重，对视差进行加权求和，得到每个像素点平滑的视差估计结果，如下式：

其中d代表视差，σ(-c_d)则代表了相应点的可能性；则代表预测视差。

7.根据权利要求6所述一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法，其特征在于，通过损失函数来获得最终视差图，所述损失函数为：

λ_k代表第k个视差预测的系数，代表了该点实际视差值；预测视差值为损失函数具体如下：

其中x是损失函数的自变量，通过梯度下降的方法来降低损失函数的值，不断迭代直至损失函数的值到达最低，不再下降；此时视差回归达到收敛，取其作为最终视差图。