[发明专利]一种基于编码辅助信息的多实例图像分割方法

权利要求书

1.一种基于编码辅助信息的多实例图像分割方法，其特征在于，包括下列步骤：

步骤1、设置基于卷积神经网络的分割网络：

所述分割网络包括特征金字塔网络、提议生成网络、感兴区域提取网络、掩膜预测网络和全连接层；

其中，特征金字塔网络用于特征提取，并将得到的特征谱分别输入提议生成网络和感兴区域提取网络；

提议生成网络用于生成边界框提议，并将边界框提议输入感兴区域提取网络；

感兴区域提取网络，用于提取感兴区域；并将感兴区域分别通过两个全连接层，对其进行分类和边框回归；

连接感兴区域提取网络的输出的掩膜预测网络的包括两个分支；

其中，第一个分支包括顺次连接的四个完全相同的卷积层，以及一个反卷积层；所述反卷积层输出M*M*K的特征谱，其中M为预设值，K表示样本的类别数；

第二分支包括顺次连接的两个卷积层、一个全连接层和变形层；所述全连接层用于得到1*1*M²的特征向量，变形层用于生成预测前景和背景的M*M*1的特征谱；

串联掩膜预测网络的两个分支的特征谱，得到M*M*(K+1)的预测掩膜；

且所述分割网络的损失函数Loss为；Loss＝loss_cls+loss_box+loss_mask，其中，loss_cls、loss_box和loss_mask分别表示分割网络的分类损失、边框回归损失和掩膜损失；

步骤2，对分割网络进行卷积神经网络训练处理；

采集训练样本图片，并提取各训练样本图片的融合特征；

初始化分割网络的网络参数，并将训练样本图片的融合特征输入到分割网络，基于分类输出、边框回归输出和掩膜预测网络输出得到

分别与真实分类、分割边框和掩膜的差异得到分割网络的分类损失、边框回归损失和掩膜损失，从而得到当前损失函数Loss；

当损失函数Loss的变化率不超过预设阈值时，停止训练，基于分割网络的当前网络参数得到训练好的分割网络；

步骤3，提取待分割图片的融合特征，并输入到训练好的分割网络，基于分类和边框回归输出得到待分割图片的多实例图像分割结果；

所述融合特征的提取方式为：

对待提取融合特征的图片进行图像解码处理，得到不同大小的亮度、色差宏块和帧内预测方向信息；并为色差宏块不同的尺度分别分配不同的标签，得到编码单元尺度谱；以及对不同的帧内预测方向分配不同的标签，得到图像的帧内预测方向谱；

对得到的尺度谱和方向谱，经过LSTM与原始图像进行特征融合，得到融合特征：

将待提取融合特征的图片输入第一LSTM网络，基于第一LSTM网络的输出得到特征谱h1；

并将特征谱h1与编码单元尺度谱串联后再输入第二LSTM网络，基于第二LSTM网络的输出得到特征谱h2；

再将特征谱h2与帧内预测方向谱串联后输入第三LSTM网络，基于第三LSTM网络的输出得到待提取融合特征的图片的融合特征。

2.如权利要求1所述的方法，其特征在于，提取融合特征时，色差宏块包括三个尺度，分别为：4*4、8*8、16*16；

帧内预测方向包括垂直、水平、DC、左下对角线模式、右下对角线模式、垂直向右模式、水平向下模式、垂直向左模式和水平向上模式。

3.如权利要求1所述的方法，其特征在于，感兴区域提取网络的处理过程为：

基于提议生成网络生成的边界框提议，从特征金字塔网络输出的特征谱中提取出对应的特征；

将提取得到的特征划分成N*N的矩形块，每个矩形块再划分成4个小的矩形块，通过双线性插值得到4个矩形块的中心点，再对该4个中心点进行最大池化操作，得到N*N*256的感兴区域，其中N为预设值。