[发明专利]基于光度与对比度互注意力的跨波段立体匹配算法

权利要求书

1.基于光度与对比度互注意力的跨波段立体匹配算法，其特征在于：包括以下步骤：

步骤1：采集数据集，利用长波红外相机、可见光相机和激光雷达相协同的数据采集系统采集数据，激光雷达提供视差真实值；

步骤2：搭建端到端的跨模态立体匹配网络，跨模态立体匹配网络包括特征提取层、代价卷、卷积层以及视差回归，特征提取层用来提取两种不同模态图片的共性特征，代价卷与卷积层用来匹配不同模态图片的共性特征，并通过视差回归返回视差；

步骤3：构建约束，在特征层上构建约束，包括基于特征一致性的高维特征约束、基于解码特性的内容保留约束和交叉一致性约束：

3.1基于特征一致性的高维特征约束，由于有视差真实值，因此通过视差真实值将不同模态提取到的特征互相映射，如公式（1）和（2）所示

（1）

（2）

式中红外图像表示为,可见光图像表示为，红外特征解码器输出表示为,可见光特征解码器输出表示为，卷积层从红外图像提取到的高维特征为，从可见光图像提到的特征为，真实视差图为，特征视差图为，根据特征视差，将红外图像特征在空间上映射到可见光图像特征域，如公式（3）所示

（3）

通过约束和，来直接约束编码器的特性，将不同模态信息通过编码器映射到相同的特征空间，并使该高维特征在空间上保持映射关系；

3.2基于解码特性的内容保留约束，引入特征保留损失函数对解码信息进行约束，根据编码器构成的编码网络构建对应的解码网络，通过可见光编码器和红外编码器提取到的特征利用相同的解码器进行解码，如公式（4）和（5）所示

（4）

（5）

公式（4）和（5）约束和，和，使编码网络尽量保留输入信息，供给解码器以还原输入；

3.3交叉一致性约束，增强的解码网络的性能，更好的解码相同信息，因为和在特征空间上有一致性，因此，解码的解码器，同样也可以解码，同理也一样，如公式（6）和（7）所示

（6）

（7）

式中，和为左目图像，因此在空间上通过来进行对应约束，如公式（8）和（9）所示

（8）

（9）

因此，得到空间和特征空间上一致的输出图像：，，，，实现不同模态的特征匹配；

步骤4：构建注意力增强机制，包括明度特征注意力增强和对比度特征注意增强：

4.1明度特征注意力增强，将可见光转换成HSV色彩空间，提取其中的V通道作为明度权重，使得网络针对可见光图像信噪比较高的区域加强学习，提高对高信噪比区域的信息采集度，如公式（4.1）、（4.2）和（4.3）所示

（4.1）

（4.2）

（4.3）

式中可见光图像为，为权重，为视差真实值；

4.2对比度特征注意增强，使用灰度级的概率密度函数的积分作为局部对比度的评价标准，当灰度级归一化至[0,1]内，则在选定区域内灰度概率密度分布可以表示为为某灰度级，且，计算其累计分布函数，如公式（4.4）所示

（4.4）

使用累计分布函数与之差，在[0,1]之间的定积分作为判断对比度的依据，对比度越高，该定积分相对于在[0,1]之间的定积分的比值越小，则对比度F如公式（4.5）所示

（4.5）

当红外图像为，规定局部滑动窗为，且对框内最大像素值与最小像素值差值不大于的对比度不予考虑，归一化后的局部红外图像为，使用的对比度指标来指代此像素位置的局部对比度，当累积分布函数为，图像局部对比度地图中的一点为，则如公式（4.6）所示

（4.6）；

步骤5：模型训练，包括共有特征提取训练和共有特征的视差匹配训练，首先，同时训练左右图像作为输入的两个编解码网络，去除解码网络，采用端到端的学习方式训练主干网络，对编码后的高维特征进行视差学习。

2.根据权利要求1所述的基于光度与对比度互注意力的跨波段立体匹配算法，其特征在于：所述步骤1中数据采集中选择依靠辐射源的长波红外波段对可见光信息进行补全。

3.根据权利要求1所述的基于光度与对比度互注意力的跨波段立体匹配算法，其特征在于：所述步骤3中编码网络的编码结构采用特征提取层，解码网络利用反卷积层作为解码层。