[发明专利]一种基于弱显著图的实时热红外图像行人检测方法

权利要求书

1.一种基于弱显著图的实时热红外图像行人检测方法，其特征在于，包括以下步骤：

步骤1，将热红外图像送入SD-LFFD网络进行预测，产生初步的行人检测结果和行人区域弱显著图；

步骤2，将该弱显著图与原始输入的热红外图像进行结合“点亮”行人区域；

步骤3，将结合后的图像送入SF-LFFD网络再次进行行人检测，产生新的检测结果；

步骤4，将上述两级改进的LFFD网络即SD-LFFD和SF-LFFD产生的行人检测结果进行融合得到最终的行人检测结果。

2.根据权利要求1所述的一种基于弱显著图的实时热红外图像行人检测方法，其特征在于，所述步骤1中的SD-LFFD网络相较于LFFD网络增加了目标显著性检测功能，主要由两部分组成：(1)目标检测部分，与LFFD结构相同，主要用来生成目标位置信息、类别信息和置信度；(2)目标显著性检测部分，在LFFD基础上进行改造，主要用来产生弱显著图，实现对热红外图像中行人区域的粗略增强，目标显著性检测部分是在原始LFFD的网络结构中的C11、C14、C17和C20四个输出分支处插入卷积层和上采样层，将得到的特征图在通道维度上进行连接，经过一个1×1的卷积层改变通道，而后经过sigmod激活函数进行输出，最后对输出的特征图利用双线性插值的方式进行缩放即可得到最终的显著图；SD-LFFD的损失函数为其中，i表示第i个输出分支，j表示第j个像素点，S表示当前输出的分支的面积S＝w×h，第1项是分类损失函数L_c，使用的是交叉熵损失函数，当第i个输出分支第j个像素点落入了真实框中，则c_ij＝1，否则c_ij＝0；第2项是回归损失函数L_r，使用的是L2损失函数，t_ij表示的是当前像素点的感受野对应的坐标位置与真实框的坐标位置相对位移；第3项是显著性检测部分的损失函数L_s，使用的是交叉熵损失函数，k表示第k个像素点，p表示显著图的标签，行人区域p_k＝1，背景区域p_k＝0。

3.根据权利要求1所述的一种基于弱显著图的实时热红外图像行人检测方法，其特征在于，所述步骤2的实现过程为：

LFFD网络输入的原始热红外图像是RGB格式，但3个通道像素值相同，其实质为灰度图像，为保持LFFD网络输入通道数不变，因此步骤2中取其中两通道与SD-LFFD产生的弱显著图组成新的三通道图像。

4.根据权利要求1所述的一种基于弱显著图的实时热红外图像行人检测方法，其特征在于，所述步骤3中的SF-LFFD网络输入为弱显著图与原始热红外图像，输出为目标位置信息、类别信息和置信度，损失函数为相较于SD-LFFD网络损失函数的区别在于去除了显著性检测部分的损失函数L_s，而保留了分类损失函数L_c和回归损失函数L_r。

5.根据权利要求1所述的一种基于弱显著图的实时热红外图像行人检测方法，其特征在于，所述步骤4的实现过程为：

将两级改进的LFFD网络即SD-LFFD和SF-LFFD产生的行人检测结果进行融合，实现两种方法的互补，以得到更准确的行人检测结果，两级网络进行融合的公式为：

其中SD-LFFD产生的置信度和位置信息分别表示为C^SD-LFFD和B^SD-LFFD，SF-LFFD产生的置信度和位置信息分别表示为C^SF-LFFD和B^SF-LFFD，行人类别最终输出的置信度和位置信息为C^out和B^out，进一步的，在上述公式中取