[发明专利]一种基于语义关联的多尺度双目立体匹配方法及装置

权利要求书

1.一种基于语义关联的多尺度双目立体匹配方法，其特征在于，包括以下步骤：

获取左相机图像和右相机图像，即左视图和右视图；

将左视图和/或右视图输入到语义分割网络获取左视图和/或右视图的语义分割mask分类结果；

通过2D特征提取网络分别提取左视图、右视图的多尺度的2D特征；

通过2D卷积对左视图和/或右视图的mask分类结果进行处理，得到包含类别信息的语义特征，将该语义特征作为权重加权到2D特征提取网络得到的特征结果上，并采用自注意力机制构建不同类别物体之间的语义关联关系；

根据2D特征提取网络得到的多尺度特征进行多尺度视差代价体cost volume构建；

构建好的多尺度视差代价体cost volume通过3D CNN网络实现视差代价传播，3D CNN网络进行视差代价传播的时候需结合不同类别物体之间的语义关联关系；

通过视差回归操作得到视差结果，生成最终的视差图。

2.根据权利要求1所述的基于语义关联的多尺度双目立体匹配方法，其特征在于，多尺度特征提取使用backbone骨干网络，backbone骨干网络可选用Resnet50、Resnet101、VGGNet、DenseNet或UNet等网络结构。

3.根据权利要求1所述的基于语义关联的多尺度双目立体匹配方法，其特征在于，在backbone骨干网络后面再采用不同尺度的池化、下采样、卷积操作或者SPP空间金字塔结构得到多尺度的特征。

4.根据权利要求1所述的基于语义关联的多尺度双目立体匹配方法，其特征在于，多尺度视差代价体cost volume构建针对不同尺度的特征进行视差代价体构建，然后将不同尺度的视差代价体通过3D卷积层之后拼接得到多尺度视差代价体cost volume，后续的3D特征聚合网络基于该多尺度视差代价体cost volume进行代价聚合。

5.根据权利要求1所述的基于语义关联的多尺度双目立体匹配方法，其特征在于，多尺度视差代价体cost volume构建的具体方法为：

对于来自左视图的多尺度特征和来自右视图的多尺度特征其中n表示特征尺度的种类数，对同样尺度的特征形成特征对，首先在不同视差维度上通过concat操作得到H×W×D×G的4D视差代价体，其中H，W分别为特征图的高和宽，D为设定的最大视差值，G为分组数，在每个视差维度上又采用分组关联操作来计算该特征对的相似性；分组关联是将对特征进行Correlation相似性计算，将特征的乘积按照通道维度进行分组，并在每组内计算Correlation，具体计算公式如下：

其中，x表示特征图的高，y表示特征图的宽，D表示设定的最大视差值，，d表示某个具体的视差值，取值集合为(1，2，...，D)，g表示分组的个数，N_c表示特征的通道数，N_g表示每组特征的通道数；

对于不同尺度的特征对，其构成视差代价体尺寸不同，需要进行多尺度代价体融合，多尺度代价体融合是指对不同尺度的视差代价体采用3D卷积操作，使其尺寸与其他尺度的视差代价体尺寸相同，然后将它们在通道维度上进行拼接，从而构建出最终的多尺度视差代价体cost volume，计算公式如下：

C_total(x，y，D，g₁+g₂+…+g_n)＝

Concat{Conv3d(C¹(x，y，D，g₁))，Conv3d(C²(x，y，D，g₁))，...，Conv3d(Cⁿ(x，y，D，g₁)} (3)

其中g_i(i＝1，2，...，n)表示第i种尺度特征对构成视差代价体时设置的分组数。