[发明专利]一种基于双注意力机制多源融合的水上目标检测方法

权利要求书

1.一种基于双注意力机制多源融合的水上目标检测方法，其特征在于，包括如下步骤：

构建雷达图像生成模型和特征提取模型，并生成2D注意力矩阵；

构建视觉图像特征提取模型，得到视觉特征图；

将所述2D注意力矩阵沿视觉特征图所有通道重新加权，生成融合特征图；

将所述融合特征图输入目标检测网络FasterRCNN。

2.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法，其特征在于，所述的构建雷达图像生成模型具体为：

获取雷达和视觉传感器训练数据，再把雷达点云映射到前置摄像头坐标系；

将雷达点云的深度，纵向速度和横向速度转化不同R、G、B通道的真实像素值；

以雷达点云转换为前置摄像头坐标点为圆心，按照一定的渲染规则渲染一个实心圆，得到雷达的训练图像；

通过构建雷达图像特征提取模型来对上述雷达的训练图像进行特征提取并生成对应的特征图。

3.根据权利要求2所述的基于双注意力机制多源融合的水上目标检测方法，其特征在于，渲染得到的所述实心圆的半径为7，所述的渲染规则为：若两个雷达点存在重叠区域，深度较小的应占据更多区域。

4.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法，其特征在于，所述的构建雷达图像特征提取模型具体为：

引入ResNet-50的前两个卷积块BasicStem和Block1，前者用于处理输入的雷达图像；后者用于输出特征雷达图像。

5.根据权利要求2所述的基于双注意力机制多源融合的水上目标检测方法，其特征在于，Block1仅引入1个残差块，来改善检测模型的随机梯度下降更新速度。

6.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法，其特征在于，所述的生成2D注意力矩阵的具体为：

使用4组具有不同感受野的卷积层来提取空间注意力矩阵，将雷达图像的特征图编码为空间域注意力权重矩阵；并将雷达特征图中的通道数减少到1。

7.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法，其特征在于，所述的构建视觉图像特征提取模型，得到视觉特征图，具体包括以下步骤：

步骤1，对原始视觉图像进行尺寸缩放，并将缩放后的图输入VGG16特征提取网络；

步骤2，使用VGG16的卷积模块1提取图像特征；

步骤3，在特征提取网络VGG16每个卷积模块后引入SENet结构；

步骤4，重复5次步骤2和步骤3，最终得到第5层SENet结构输出的视觉特征图。

8.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法，其特征在于，将所述2D注意力矩阵沿视觉特征图所有通道重新加权，生成融合特征图，包括：

采用克罗内克积矩阵运算的加权方法，将空间注意力矩阵加权到基于SENet的VGG16特征提取网络得到的新特征图。

9.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法，其特征在于，所述将所述融合特征图输入目标检测网络FasterRCNN，包括如下步骤：

步骤1，将融合特征图输入到ROI池化层；

步骤2，将步骤1得到的特征图连续输入到两个全连接层；

步骤3，将全连接层后的结果传递到softmax分类器和边界回归层，得到分类结果以及回归后的边界框。