[发明专利]一种基于高斯交叉注意力网络的跨模态行人检测方法

说明书

本发明提供一种基于高斯交叉注意力网络的跨模态行人检测方法，包括：S1，获取多源行人图像；S2，对多源行人图像进行数据预处理得到多源行人图像训练集；S3，对多源行人图像进行人工标注得到真值行人位置边界框坐标；S4，构建基于高斯交叉注意力的检测网络；S5，利用多源行人图像训练集训练基于高斯交叉注意力的检测网络，得到训练好的基于高斯交叉注意力的检测网络；S6，利用训练好的基于高斯交叉注意力的检测网络进行行人检测。本发明采用基于高斯交叉注意力的检测网络提取多源行人图像的深层显著特征并融合，直接获得表示行人位置的边界框坐标，在网络训练和实用中更为便捷灵活，节省计算资源和降低时间消耗。

技术领域

本发明涉及行人检测技术领域，具体而言，涉及一种基于高斯交叉注意力网络的跨模态行人检测方法。

背景技术

行人检测是一个重要的研究领域，广泛应用于无人驾驶、监控和机器人领域。近年来，依靠检测算法的发展，安全保障得到了提高。行人检测任务在检测可见图像和视频方面取得了很好的效果。然而，在可视图像中仍然存在一些挑战，如低分辨率、遮挡、功率对比度和恶劣的光照条件限制了行人检测的准确性。

热成像消除了可见光图像在光线不足、天气恶劣等条件下的局限性。热成像相机是基于红外辐射探测物体，而人与周围环境之间存在显著的热差异，因此可以很容易地识别出行人。然而，在白天，由于背景信息与热图像中行人的温度相似，很难区分人与干扰物体。由此得出热图像更适合夜间，而可见光图像更适合白天进行行人检测的结论。

现有的多源行人图像检测方法中，基于CNN的融合策略通过学习局部特征增强了图像中行人特征的表达，但它们缺乏从图像中提取远程依赖的能力，这会导致一些可能对行人检测有用的基本全局上下文的丢失。因此，将局部特征与远程依赖密度相结合，可以增加全局上下文信息，从而有助于增强多源图像的显著特征融合，从而进一步提高检测的准确性。端到端神经网络能将特征提取和视觉任务相融合，在网络训练和实用中更为便捷灵活，将其应用到多源行人图像检测中具有重要意义和价值。

发明内容

本发明旨在提供一种基于高斯交叉注意力网络的跨模态行人检测方法，以解决上述现有的多源行人图像检测方法存在的问题。

本发明提供的一种基于高斯交叉注意力网络的跨模态行人检测方法，包括如下步骤：

S1，获取多源行人图像；

S2，对步骤S1获取的多源行人图像进行数据预处理，得到多源行人图像训练集；

S3，对步骤S1获取的多源行人图像进行人工标注，得到真值行人位置边界框坐标；

S4，构建基于高斯交叉注意力的检测网络；

S5，利用步骤S2得到的多源行人图像训练集对步骤S4构建的基于高斯交叉注意力的检测网络进行训练，训练过程中采用损失函数计算基于高斯交叉注意力的检测网络输出的预测行人位置边界框坐标与步骤S3得到的真值行人位置边界框坐标之间的差异，并通过反向传播算法优化检测网络的参数，从而得到训练好的基于高斯交叉注意力的检测网络；

S6，利用训练好的基于高斯交叉注意力的检测网络进行行人检测。

在一些实施例中，所述多源行人图像包括可见光行人图像和红外光行人图像。

在一些实施例中，步骤S2中对步骤S1获取的多源行人图像进行数据预处理的方法为：

将多源行人图像通过计算整体数据的均值和方差进行归一化处理，得到多源行人图像训练集。

在一些实施例中，步骤S4中构建的基于高斯交叉注意力的检测网络包括：特征提取网络、基于交叉注意力的特征融合网络、以及预测网络；

所述特征提取网络为一系列卷积神经网络，用于从可见光行人图像和红外光行人图像中分别提取可见光特征和红外光特征；