[发明专利]一种基于堆叠神经网络的递进式图像解析方法

权利要求书

1.一种基于堆叠神经网络的递进式图像解析方法，其特征在于，包括以下步骤：

步骤1，设计神经网络：基于已有的用于图像分割任务的多层深度神经网络，通过在其网络末端增加两个以上前后相连的分割模块，并添加由网络浅层到各分割模块的跨层连接，构造用于对图像进行递进式解析的神经网络，其从前到后的各分割模块生成由粗到细多个粒度的图像解析结果；

步骤2，训练神经网络：利用训练图像库中的训练数据对步骤1构造的神经网络进行训练；

步骤3，解析输入图像：利用已训练的神经网络，对输入图像进行由粗到精的递进式内容解析；

步骤1中，对于已有的用于图像分割任务的多层深度神经网络，选取该神经网络中除去预测类别概率的Softmax层之外的最后M个卷积层作为分割模块；

步骤1中，将选取的分割模块前后连接堆叠N次，N是图像解析粒度总数；

步骤1中，从已有的用于图像分割任务的多层深度神经网络的浅层引出到每个分割模块的跨层连接，跨层连接的添加基本原则为：越靠后的分割模块，解析结果越细致，需要连接到神经网络中越浅的层；

步骤1中构造的神经网络结构的第一个分割模块输入为其前部图像分割网络输出的特征图f₀，输出特征图为P₁，第i(i＞1)个分割模块输入来自三个部分，即图像分割网络输出的特征图f₀、前一个分割模块的输出特征图P_i-1和对应的浅层特征图f_-i；通过双线性插值放大较小两个的特征图后，沿通道轴方向将三个特征图串联作为本分割模块的输入特征图，即：

其中，In_i表示第i个分割模块输入，Up(·)表示基于双线性插值升采样操作，这里将f₀、P_i-1和f_-i三者中尺寸较小的两个特征图升采样到与最大的那个特征图的尺寸相匹配，表示特征图沿通道轴串联的操作；

步骤2包括以下步骤：

步骤2-1，生成层次化训练数据：定义多粒度层次化类别合并规则，根据合并规则，对训练图像库中每张训练图像的类别标注图执行类别合并操作，得到对应数量的由精到粗的多个像素级类别标注图；

步骤2-2，训练神经网络：定义每个分割模块上的损失函数，并加权得到神经网络的全局损失函数，利用训练图像及步骤2-1中得到其对应的类别标注图作为每个分割模块的监督数据，对神经网络进行训练；

步骤2-1中，根据解析需求，预定义一组多粒度层次化类别合并规则，使得一个较粗粒度的类别由至少两个较细粒度类别组成，然后基于预定义的合并规则，将训练数据中最细粒度的标注图合并得到较粗粒度的标注图，并进一步根据下一层的合并规则将其合并得到更粗粒度的标注图，直至没有更粗粒度的合并规则为止；

步骤2-2中，每个分割模块在对应图像解析粒度上的损失函数定义为交叉熵损失，神经网络总损失定义为所有分割模块损失的加权和：

其中，L_total表示神经网络的总损失，N是图像解析粒度总数，分割模块总数也为N，L_i为第i个分割模块的损失，λ_i为第i个分割模块损失的权重，满足

2.根据权利要求1所述的方法，其特征在于，步骤3中将待解析图像输入到步骤2中训练好的神经网络后，其各个分割模块将输出对应粒度的解析结果，形成由粗到精的递进式图像解析。