[发明专利]基于多级融合和角点偏移的图像旋转目标检测方法

权利要求书

1.一种基于多级融合和角点偏移的图像旋转目标检测方法，其特征在于，该方法是用生成的训练集对搭建的深度全卷积神经网络进行训练，使用多级融合网络对主干网络提取的特征进行双向融合，使用深度全卷积神经网络的回归子网络和分类子网络分别获取目标的旋转检测框和类别，对目标的旋转检测框进行校正，该方法的具体步骤包括如下：

(1)获取每个目标的旋转标注框的最小外接矩形：

(1a)至少选取2000张含有目标的图像，每张图像中至少含有一个带有旋转标注框的目标，且每个目标至少有一个类别；

(1b)利用多边形最小外接矩形算法，得到每个目标的旋转标注框的最小外接矩形；

(2)生成训练集：

(2a)确定最小外接矩形的上顶点和左顶点：

第一步，当最小外接矩形四个顶点的横坐标值或纵坐标值相等的顶点个数大于2时，执行第二步，否则，执行第三步；

第二步，选取最小外接矩形中横、纵坐标值均最小的顶点作为最小外接矩形的上顶点，纵坐标值最小且未被选取的顶点为最小外接矩形的左顶点；

第三步，选取最小外接矩形中横坐标值最小的顶点作为最小外接矩形的上顶点；选取最小外接矩形中纵坐标值最小的顶点作为最小外接矩形的左顶点；

(2b)利用角点偏移公式，计算最小外接矩形上顶点横坐标值相对所有顶点最小横坐标值的横偏移量和最小外接矩形左顶点纵坐标值相对所有顶点最小纵坐标值的纵偏移量；

(2c)将每个目标的最小外接矩形所有顶点横坐标的平均值和纵坐标的平均值作为该目标的中心坐标值，将最小外接矩形所有顶点横坐标中的最大值与横坐标最小值的差作为该目标的宽，将最小外接矩形所有顶点纵坐标中的最大值与纵坐标最小值的差作为该目标的高；

(2d)将每张图像中所有目标的类别、横偏移量、纵偏移量、中心坐标值、宽和高组成该图像的标签集；

(2e)将选取的所有图像和图像对应的标签集组成训练集；

(3)构建深度全卷积神经网络：

(3a)搭建一个主干网络以提取图像的特征，其结构依次为：输入层，卷积层，池化层，第一瓶颈组，第二瓶颈组，第三瓶颈组，第四瓶颈组；将卷积层的卷积核尺度设置为3*3，卷积核个数设置为64；池化层的池化核尺度设置为3*3；

所述第一瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为64；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为256；

第二瓶颈组由第一到第十二共十二个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接；将第一、第三、第四、第六、第七、第九、第十、第十二卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为128；将第二、第五、第八、第十一卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为512；

第三瓶颈组由第一到第十八共十八个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接，第十卷积层还与第十二卷积层连接，第十三卷积层还与第十五卷积层连接，第十六卷积层还与第十八卷积层连接；将第一、第三、第四、第六、第七、第九、第十、第十二、第十三、第十五、第十六、第十八卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为256；将第二、第五、第八、第十一、第十四、第十七卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为1024；

第四瓶颈组由第一到第九共九个卷积层串联组成，其中，第一卷积层还与第三卷积层连接，第四卷积层还与第六卷积层连接，第七卷积层还与第九卷积层连接；将第一、第三、第四、第六、第七、第九卷积层的卷积核尺度均设置为1*1，卷积核个数均设置为512；将第二、第五、第八卷积层的卷积核尺度均设置为3*3，卷积核个数均设置为2048；

(3b)搭建一个由四个结构相同的融合模块串联组成的多级融合网络，实现对主干网络提取的特征进行双向融合；每个融合模块结构为：第一输入层分别与第一卷积层和第二卷积层连接，第二输入层分别与第二卷积层和第三卷积层连接，第三输入层分别与第四卷积层和第五卷积层连接，第四输入层分别与第六卷积层和第七卷积层连接，第五输入层与第八卷积层连接，第二卷积层分别与第三卷积层和第四卷积层连接，第三卷积层与第一卷积层连接，第四卷积层分别与第五卷积层和第六卷积层连接，第五卷积层与第三卷积层连接，第六卷积层分别与第七卷积层和第八卷积层连接，第七卷积层与第五卷积层连接；将所有卷积层的卷积核尺度均设置为3*3个节点，卷积核个数均设置为256；

(3c)将主干网络与多级融合网络连接后再分别与分类子网络和回归子网络连接，得到深度全卷积神经网络；

(4)训练深度全卷积神经网络：

将训练集输入到深度全卷积神经网络中进行迭代训练，直至网络的损失函数收敛为止，得到训练好的深度全卷积神经网络；

(5)对图像中的旋转目标进行检测：

用切割间隔为512、大小为1024×1024的矩阵窗口，对待检测图像进行切块处理，将切块处理后的图像块依次输入到训练好的深度全卷积神经网络中，依次输出每个图像块中每个目标旋转检测框和类别；

(6)对旋转目标的边框进行后处理：

(6a)利用与步骤(1b)相同算法，将得到的每个目标旋转检测框的最小外接矩形作为该目标校正后的旋转检测框；

(6b)利用非极大值抑制算法，对每个目标校正后的旋转检测框进行去重处理，得到该目标最终旋转检测框；

(7)将所有目标的最终旋转检测框绘制到图像中对应的位置，得到检测结果图。