[发明专利]一种针对图像语义分割的端到端差异网络学习方法

权利要求书

1.一种针对图像语义分割的端到端差异网络学习方法，其特征在于包括如下步骤：

步骤1，使用Caffe深度学习框架分别搭建主网络结构和完整网络结构，其中，主网络结构用于生成粗分割模型，完整网络用于最终的图像语义分割；

基于Attention模型的多尺度全卷积神经网络搭建主网络结构，首先使用插值层将原始图像缩小到若干个不同的尺度，每个尺度的输入图像使用独立的全卷积神经网络进行训练得到适用于该尺度的分割模型，然后将不同尺度的分割特征置信图通过Attention模型学到的权重加权融合得到最终的输出评分；

完整网络结构包含一个输入层、两个网络管道和两个损失层，一幅输入图像同时作为两个管道的输入，将两个管道分别记为主网络和差异网络，主网络起到分割作用；差异网络用于分割主网络难以分割的小目标、目标的条状部位以及边缘模糊区域，所述差异网络的网络结构通过对残差神经网络ResNet做修改，只保留该网络的第一个池化层，去除其他所有步长为2的池化层，使得整个差异网络的感受野相对原始网络较小；在主网络的尾端，使用一个交叉熵损失函数作为主网络模型的损失层，在整个网络的尾端，使用一个带权重的交叉熵损失函数作为整个网络的损失层；

步骤2，使用训练集的部分数据训练主网络的粗模型，通过粗模型得到的分割结果与真实分割图比较得到粗模型的误分区域；

步骤3，将步骤2得到的粗模型作为初始化参数训练完整网络模型得到最终的分割结果，建立图像语义分割模型；

步骤4，分割模型测试，根据步骤3得到的图像语义分割模型分割所有的测试图像。

2.如权利要求1所述的一种针对图像语义分割的端到端差异网络学习方法，其特征在于：所述步骤2的具体步骤是：

步骤21，对训练数据集中每个样本的真实标记图进行维度转换，将三维的真实标记图转换为二维的标记图，使其适用于Caffe框架的输入层；

步骤22，从所有的训练集中随机选择一半的数据，作为主网络模型训练数据集，创建数据集图像索引文件作为Caffe框架输入层的参数；

步骤23，使用SGD方法优化主网络模型参数，设置Caffe的训练参数存入求解配置文件；

步骤24，使用已经训练好的VGGNet模型参数作为主网络的初始化参数，主网络最后两个全连接层的参数使用高斯随机初始化，在Caffe框架下完成训练，得到主网络粗模型参数，同时根据粗模型参数计算训练集每个样本的分割图，比较分割图与真实标记图得到误分区域；

步骤25，将所有误分区域的像素点都添加到集合中，同时，对于该集合中的每个像素点，以该像素点为中心，将周围的像素点同时加入到集合中。

3.如权利要求1所述的一种针对图像语义分割的端到端差异网络学习方法，其特征在于：所述步骤3的具体步骤是：

步骤31，搭建一个仅包含差异网络的语义分割模型，利用交叉验证的方法得到最优的参数w；

步骤32，设置Caffe的训练参数存入求解配置文件，同时将每个样本的粗模型误分区域的二值图像路径添加到图像索引文件的每一行的最后位置；

步骤33，将使用部分数据训练得到的主网络粗模型参数作为整个网络中主网络的初始化参数，差异网络使用高斯随机初始化方式在Caffe框架下完成端到端的训练，得到整个图像语义分割模型。

4.如权利要求1所述的一种针对图像语义分割的端到端差异网络学习方法，其特征在于：所述步骤4的具体步骤是：

步骤41，配置Caffe测试网络结构文件：测试网络的输入数据来自内存；测试网络最后一层得到输出置信图，置信图共有C+1个通道，每个通道的大小与原始图像大小一致，每个像素点的值表示原始图像对应位置对应类别的置信评分；

步骤42，对于一幅待分割的图像，首先进行去均值化和维度转换操作，然后将转换后的图像作为网络的输入进行预测，得到C+1个通道的置信评分，根据置信评分得到最终的分割图。