[发明专利]一种基于空洞空间金字塔池化的立体匹配方法及系统

权利要求书

1.一种基于空洞空间金字塔池化的立体匹配方法，其特征在于，包括以下步骤：

S1:对视点图像的左视图和右视图使用卷积神经网络进行特征提取，得到左视点特征图和右视点特征图；

S2:基于空洞卷积和空间金字塔池化方法，利用不同大小的扩张率从多个尺度对所述左视点特征图和所述右视点特征图提取像素的上下文信息，得到所述左视点特征图的多个特征图维度和所述右视点特征图的多个特征图维度；

S3：将所述左视点特征图的多个特征图维度使用堆叠的方式进行保存，将所述右视点特征图的多个特征图维度使用堆叠的方式进行保存，取不同的视差值对所述特征图维度提取特征子图，构成匹配代价容器；

S4:基于3D卷积的方式，用 3D 卷积层对所述匹配代价容器进行卷积下采样和反卷积上采样后，基于双线性插值法进行上采样，对所述匹配代价容器中的所述特征子图进行尺寸恢复，得到视差图。

2.根据权利要求1所述的方法，其特征在于，权利要求1所述的方法还包括步骤S5：基于视差回归方法对所述视差图进行精细化。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1中的特征提取使用了3个3×3的卷积核。

4.根据权利要求1所述的方法，其特征在于，在进行所述特征提取前，还包括将左视图和右视图下采样为原来图像尺寸的1/2。

5.根据权利要求1所述的方法，其特征在于，所述使用卷积神经网络进行特征提取包括：对所述左视图和右视图分别在每一个卷积操作结束后，添加批次归一化层和ReLU层。

6.根据权利要求1所述的方法，其特征在于，所述空洞卷积和空间金字塔池化方法具体包括：利用并行的扩张率不同的多个空洞卷积和一个平均池化对所述左视点特征图的像素的上下文信息进行多次提取，同时利用所述多个空洞卷积和一个平均池化对所述右视点特征图的像素的上下文信息进行多次提取。

7.根据权利要求1所述的方法，其特征在于，所述步骤S3中取不同的视差值对所述特征图维度提取特征子图，构成匹配代价容器，具体步骤包括：

分别从所述左视点特征图和所述右视点特征图中取一个特征图维度，记为第i维的特征图和；

取一个视差值d对所述特征图和分别提取特征子图，得到所述视差值d下第i维的特征图的特征子图；

遍历视差搜索范围内的所有视差值，得到第i维的特征图的所有特征子图；

遍历所有特征图，将得到的所有特征子图构成匹配代价容器。

8.根据权利要求2所述的方法，其特征在于，所述视差回归方法包括：

采用GC-Net提出的视差回归方法，计算出每个像素在不同视差下的匹配代价C_d，通过softmax运算，从匹配代价C_d计算出每个视差d的概率，最后对每个视差d加权求和得到视差预测值，所述视差预测值的计算公式为：

其中表示对匹配代价C_d进行softmax运算，D_max表示视差搜索范围的最大值。