[发明专利]一种基于双注意力机制多源融合的水上目标检测方法

说明书

本发明涉及一种多源传感器信息融合的目标检测方法，具体涉及一种基于双注意力机制多源融合的水上目标检测方法，包括：构建雷达图像生成模型和特征提取模型，并生成2D注意力矩阵；构建视觉图像特征提取模型，得到视觉特征图；将所述2D注意力矩阵沿视觉特征图所有通道重新加权，生成融合特征图；将所述融合特征图输入目标检测网络FasterRCNN。本发明可以充分利用雷达和视觉传感器互补的信息，提升网络的精度和目标检测的准确度；有效解决水上目标在图像中权重降低以及微小目标检测性能低的问题。

技术领域

本发明涉及一种多源传感器信息融合的目标检测方法，尤其涉及一种基于双注意力机制多源融合的水上目标检测方法。

背景技术

对于自动驾驶来讲，可靠的感知周围环境非常重要。目前自动驾驶领域通常采用激光雷达、毫米波雷达和视觉等传感器实现对环境的感知。这几种传感器各有优缺点，单独使用存在很大限制，在复杂干扰环境下可能无法提供障碍物的准确信息。如果将其中的两种或者多种的信息进行融合，不但能够提高感知可靠性，而且可以弥补不同传感器的短板。雷达传感器可以提供精准的速度和位置等信息；视觉传感器可以在保留目标的外观信息的前提下，弥补雷达传感器横向分辨率低的缺陷。视觉传感器和激光雷达在复杂的水上条件和天气情况下会大大降低环境感知能力，降低了检测算法的性能。然而，毫米波雷达对于复杂水上环境和天气情况有更高的适应性；

在水上自动驾驶领域中，对水面上的目标检测利用深度神经网络来提取雷达图像和视觉图像特征已屡见不鲜，但在实际应用中却难以实现。主要存在以下问题：1)水面上的目标在强烈光反射下可能导致图像曝光过度，使视觉图像中目标不清晰，权重降低；2)激光雷达与毫米波雷达存在差异，无法将现有激光雷达算法直接应用在毫米波雷达上；3)小目标检测准确性低。

发明内容

有鉴于此，本发明的目的在于提出一种基于双注意力机制多源融合的水上目标检测方法，以解决上述问题的全部或之一。

基于上述目的，本发明提供了一种基于双注意力机制多源融合的水上目标检测方法，包括如下步骤：

构建雷达图像生成模型和特征提取模型，并生成2D注意力矩阵；

构建视觉图像特征提取模型，得到视觉特征图；

将所述2D注意力矩阵沿视觉特征图所有通道重新加权，生成融合特征图；

将所述融合特征图输入目标检测网络FasterRCNN。

可选的，所述的构建雷达图像生成模型具体为：

获取雷达和视觉传感器训练数据，再把雷达点云映射到前置摄像头坐标系；

将雷达点云的深度，纵向速度和横向速度转化不同R、G、B通道的真实像素值；

以雷达点云转换为前置摄像头坐标点为圆心，按照一定的渲染规则渲染一个实心圆，得到雷达的训练图像；

通过构建雷达图像特征提取模型来对上述雷达的训练图像进行特征提取并生成对应的特征图。

可选的，渲染得到的所述实心圆的半径为7，所述的渲染规则为：若两个雷达点存在重叠区域，深度较小的应占据更多区域。

可选的，所述的构建雷达图像特征提取模型具体为：

引入ResNet-50的前两个卷积块BasicStem和Block1，前者用于处理输入的雷达图像；后者用于输出特征雷达图像。

可选的，Block1仅引入1个残差块，来改善检测模型的随机梯度下降更新速度。

可选的，所述的生成2D注意力矩阵的具体步骤为：

使用4组具有不同感受野的卷积层来提取空间注意力矩阵，将雷达图像的特征图编码为空间域注意力权重矩阵；并将雷达特征图中的通道数减少到1。