[发明专利]一种基于注意力机制的毫米波雷达与视觉传感器融合方法

权利要求书

1.一种基于注意力机制的毫米波雷达与视觉传感器融合方法，其特征在于，具体包括如下步骤：

步骤S1：毫米波雷达扫描获得3D点云数据，视觉传感器获取视觉图像信息；

步骤S2：将毫米波雷达3D点云数据转化到与视觉图像一致的2D垂直平面；

步骤S3：将毫米波雷达图像生成与视觉图像大小一致的二维矩阵，记为雷达二维矩阵；

步骤S4：用空间软注意力，突出视觉图像中的重点检测区域和重点区域特征；

步骤S5：提取毫米波雷达特征与视觉图像特征，并将两者特征进行级联；

步骤S6：将级联特征送入SE通道注意力，进行权重学习；

步骤S7：用RetinaNet进行分类和识别；

所述的S2将毫米波雷达3D点云转化到与视觉图像一致的2D垂直平面的具体步骤如下：

S2.1：毫米波雷达坐标系下的坐标转换到以相机为中心的世界坐标系中；

S2.2：将世界坐标系的坐标转换到相机坐标系；

S2.3：将相机坐标系的坐标转换到图像坐标系；

所述的S4中用空间软注意力，突出重点检测区域和重点区域特征，具体步骤为：

S4.1：计雷达二维矩阵为N，视觉图像矩阵为C；

S4.2：利用毫米波雷达确定视觉图像的重点检测区域：将雷达二维矩阵N与视觉图像矩阵C进行点乘，得到矩阵H，即重点检测区域；

S4.3：突出视觉重点检测区域特征，形成空间软注意力：将矩阵H与图像矩阵C进行元素级相加得到重点检测区域特征M，即M=H+C。