[发明专利]基于特征融合和稠密连接网络的红外面目标实例分割方法

权利要求书

1.一种基于特征融合和稠密连接网络的红外面目标实例分割方法，其特征在于，该方法通过以下步骤实现：

步骤(1)采集并构建实例分割所需的红外图像数据集，在包含所需分割目标的红外图像数据集中标定所需分割目标的像素级轮廓与种类，获得原有已知的红外标签图像；

步骤(2)对所述红外图像数据集作图像增强的预处理，并分为训练集和验证集两部分；

步骤(3)对预处理后的训练集进行处理获得分类结果、边框回归结果和实例分割掩膜结果图；

步骤(4)将分类结果和边框回归以及实例分割掩膜结果图与步骤(1)中原有标定的红外图像数据集进行损失函数计算，使用交叉损失熵计算预测结果图与真实分割结果图之间的误差，使用随机梯度下降法在卷积神经网络中根据预测损失函数进行反向传播，并更新卷积网络的参数值；

步骤(5)每次从步骤(2)选取固定数量的红外图像数据训练集送入网络进行处理，重复步骤(3)、(4)对卷积网络参数进行迭代更新，直至最大迭代次数完成对卷积网络的训练；

步骤(6)使用步骤(5)训练完成的实例分割网络对测试集图像数据进行处理，获取实例分割的平均精度和所需时间，以及最终实例分割结果图；

所述步骤(4)中损失函数为：L＝L_cls+L_box+L_mask；其中，L为总损失函数，为三个分支网络损失函数之和，L_cls为分类损失，L_box为目标检测边框回归损失，L_mask为实例分割损失；

分类损失L_cls定义为：

其中，p_i为将建议目标区域预测为目标的概率，i为建议目标区域个数；p_i^*为真实目标标签，N_cls为归一化权重，使得分类损失和目标检测回归损失在总损失中是等权重的；S_cls(p_i，p_i^*)是目标与非目标的对数损失：

多目标分类的目标检测边框回归损失L_box定义为：

其中t_i＝{t_x，t_y，t_w，t_h}是一个向量，表示预测的目标标注框的4个参数化坐标；t_i^*是真实的目标标注框的坐标向量；S_box(t_i,t_i^*)是回归损失，通过S_box(t_i,t_i^*)＝R(t_i-t_i^*)来计算；R是smooth L1函数；λ为平衡权重归一化参数；N_box为归一化权重，使得分类损失和目标检测回归损失在总损失中是等权重的；

步骤(2)中所述对红外图像数据集作图像增强的预处理，具体步骤如下：

步骤(2a)设定红外图像数据大小，并进行剪裁；

步骤(2b)对剪裁过的红外图像数据集进行随机的翻转变换，沿水平或垂直方向进行图像翻转；

步骤(2c)对翻转变换过的红外图像数据集进行对比度变换，在红外图像数据集的HSV颜色空间，改变饱和度S和亮度分量V，保持色调H不变，对每个像素的饱和度S和亮度V分量进行指数运算；

所述步骤(3)对预处理后的训练集进行处理获得分类结果、边框回归结果和实例分割掩膜结果图，具体通过以下步骤实现：

步骤(3a)将预处理后的训练集红外图像数据输入稠密连接网络进行特征提取得到多维度的特征图；

包含以下步骤：

第一步，使用卷积核大小为3*3，数量为32的卷积层对输入图像进行计算，然后进行2*2的池化运算，得到特征图F1；

第二步，使用包含64个3*3卷积核与64个1*1卷积核的稠密块对F1进行特征提取，同时计算残差，然后进行2*2的池化运算，得到特征图F2；

第三步，使用包含64个1*1卷积核与64个3*3卷积核的稠密块对F2进行特征提取，同时计算残差，然后进行2*2的池化运算，得到特征图F3；

第四步，使用包含64个1*1卷积核与64个3*3卷积核的稠密块对F3进行特征提取，然后进行1*1的卷积，同时计算残差，最后进行2*2的池化运算，得到特征图F4；

第五步，使用包含256个1*1卷积核与256个3*3卷积核的稠密块对F4进行特征提取，然后进行1*1的卷积，同时计算残差，最后进行2*2的池化运算，得到特征图F5；

第六步，使用包含1024个1*1卷积核、1024个3*3卷积核和1024个1*1卷积核的稠密块对F5进行特征提取，然后进行1*1的卷积，同时计算残差，得到特征图F6；

所述步骤(3)中所述稠密连接网络结构由稠密连接模块、转换模块以及若干单独的卷积层和池化层组成，连接顺序为转换模块和稠密连接交替连接；其中，所述稠密连接模块由若干个卷积模块构成，在同一稠密连接中，当前卷积模块与前项所有卷积模块建立连接关系；

所述卷积模块共有三种模式，模式一为由一个卷积核为1×1的卷积层和一个卷积核为3×3的卷积层构成；模式二为由一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层构成；模式三为由一个卷积核为1×1的卷积层和一个卷积核为3×3的卷积层以及一个卷积核为1×1的卷积层构成；

步骤(3b)将所述多维度特征图使用注意力机制进行特征融合得到融合后的特征图；

步骤(3c)将所述融合后的特征图送入候选区域建议模块并使用非极大值抑制提取一定数量的候选区域；

步骤(3d)将所述融合后的特征图和提取的候选区域送入回归预测网络进行分类和边框回归以及掩膜网络进行目标分割得到结果图；

所述转换模块具有两种类型：转换池化模块和直接转化模块；所述转换池化模块由卷积核为3×3的卷积层和核为2×2的最大池化层组成，最大池化层实现下采样功能，将输入的特征图的尺度减少至原来的一半；所述的直接转化模块由单一卷积核为1×1的卷积层构成，不改变特征图尺度的大小；所述单独卷积层由一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层顺序连接而成；

所述步骤(3)中所述稠密连接模块是在残差连接结构的基础上，进一步扩展网络连接，对于稠密连接模块网络的任意一层，该层前面的所有特征图都是这层的输入，该层的特征图是后面所有层的输入；对前面的所有层都加一个单独的捷径连接到该层，使得在稠密模块中任意两层网络都可以直接沟通；记模型的输入图片为x₀，模型由Q层组成，每层的非线性转换函数为H_q(*)，q是层的序号，将q^th层的输出记为x_q，得到以下公式：

x_q＝H_q([x₀,x₁,...,x_q-1])，H_q(*)是批正则化+线性整流激活函数+卷积的组合。