[发明专利]基于并行异构传感器的火箭目标识别系统

权利要求书

1.基于并行异构传感器的火箭目标识别系统，其特征在于，包括接收通道、第一卷积层、第一池化层、第二卷积层、第二池化层以及第三卷积层；

所述接收通道通过三个通道分别接收来自雷达传感器、可见光传感器和红外传感器的输入图像，分别为雷达图像、可见光图像以及红外图像；

所述第一卷积层为三维卷积核，分别对应来自雷达传感器、可见光传感器和红外传感器的输入图像；所述第一卷积层分别对雷达图像、可见光图像以及红外图像进行卷积处理，得到雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像，三者均输入至第一池化层；

所述第一池化层为三维池化核，分别对应雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像，所述第一池化层分别对雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像进行池化处理，得到第一池化图像、第二池化图像以及第三池化图像，均输入至第二卷积层；

所述第二卷积层为三维卷积核，分别对应第一池化图像、第二池化图像以及第三池化图像；所述第二卷积层分别对第一池化图像、第二池化图像以及第三池化图像进行卷积处理，得到第四卷积图像、第五卷积图像以及第六卷积图像，三者均输入至第二池化层；

所述第二池化层为三维池化核，分别对应第四卷积图像、第五卷积图像以及第六卷积图，所述第二池化层分别对第四卷积图像、第五卷积图像以及第六卷积图进行池化处理，得到第四池化图像、第五池化图像以及第六池化图像，将第四池化图像、第五池化图像以及第六池化图像像素对应相加得到和图像，所述和图像作为第三卷积层的输入图像；

其中第一卷积层、第一池化层、第二卷积层和第二池化层中，对应处理雷达图像、雷达图像的卷积图像、第一池化图像和第四卷积图像的卷积核和池化核在火箭的上升段和下压段置零；

第一卷积层、第一池化层、第二卷积层和第二池化层中，对应处理可见光图像、可见光图像的卷积图像、第二池化图像和第五卷积图像的卷积核和池化核在火箭的机动段置零；

第一卷积层、第一池化层、第二卷积层和第二池化层中，对应处理红外图像、红外图像的卷积图像、第三池化图像和第六卷积图像的卷积核和池化核在火箭的平飞段置零；

所述第三卷积层为三维卷积核，三维卷积核分别对所述和图像进行卷积处理，得到三个和图像的卷积图像并作为目标识别结果图像输出。

2.如权利要求1所述的系统，其特征在于，所述接收通道接收到的雷达图像、可见光图像以及红外图像，其中雷达图像的尺寸为(1,height,weight)；可见光图像的尺寸为(2,height,weight)；红外图像的尺寸为(3,height,weight)，height为输入图像的高度，weight为输入图像的宽度。

3.如权利要求2所述的系统，其特征在于，所述第一卷积层设置三个卷积核分别对应3个通道的输入图像，包括第一卷积核，尺寸为(1,k_h,k_w)；第二卷积核，尺寸为(2,k_h,k_w)；第三卷积核，尺寸为(3,k_h,k_w)；k_h为卷积核的高；k_w为卷积核的宽；k_h/2能被height整除；k_w/2能被weight整除；

第一卷积核在雷达图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出雷达图像的卷积图像；

第二卷积核在可见光图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出可见光图像的卷积图像；

第三卷积核在红外图像空间维度上进行滑窗操作，每次滑窗与(k_h,k_w)窗口内的所有的像素值进行卷积操作，输出红外图像的卷积图像；

雷达图像的卷积图像、可见光图像的卷积图像以及红外图像的卷积图像均输入至第一池化层。