[发明专利]基于迁移学习提升语义分割模型效果的框架

权利要求书

1.基于迁移学习提升语义分割模型效果的框架，其特征在于，包括下述步骤：

构建一个新的语义分割模型基础框架，所述语义分割模型基础框架由两个不同的网络组成，分别为老师网络和学生网络，所述老师网络为学生网路提供有益于分割的知识指导，使得学生网路能学到老师网络的知识来帮助其拥有更好的分割效果，所述学生网络用于在保证其分割的速度的同时从老师网络提供的知识中学习到有益于其分割效果的知识；

通过目标函数将老师网络和学生网络连接起来，所述目标函数是由基于逻辑分布变换出来的信息形式构造的，该目标函数的具体内容如下：

用S和T来分别表示公式中的学生网络和老师网络：

L＝L_s+r(S,T)

上述公式中，L_s是交叉熵损失函数，其实际是由图片的标签与学生网络的概率分布之间求交叉熵得到的损失函数；r(S,T)代表的是老师网络与学生网络之间的知识偏差，其作为一个正则化项来正则化学生网络的学习过程，通过r(S,T)这一项，学生网络和老师网络被连接起来，并且通过最小化L目标函数可以把老师网络的知识传递到学生网络；

把r(S,T)函数定义为：

r(S,T)＝αL_p(S,T)+βL_c(S,T)

L_p(S,T)是老师网络与学生网络之间的概率分布损失函数，定义为

函数中的I表示batch size的数量，G表示图片的像素集合，P_S(x),P_T(x)分别是学生和老师网络在图片区域每个像素点的概率分布输出，这个损失函数的定义是学生网络的输出概率分布跟老师网络的概率分布是相似的，这个函数可以捕捉到不同分割输出的零阶知识；

为了补充L_P损失函数捕捉到的零阶知识，L_C函数被用于捕捉学生网络和老师网络输出的一阶知识，定义L_C函数为：

其中函数中的I表示batch size的数量，G表示图片的像素集合，一致性矩阵C(x)定义为B(x)意味着像素x的8个临近的像素，I(x)是对应网络像素点的逻辑分布输出；

利用网络结构中的老师网络对无标签数据进行标签预测生成伪标签，并把生成标签数据加入模型的训练集中，再通过框架训练提升学生网络的分割效果。

2.根据权利要求1所述基于迁移学习提升语义分割模型效果的框架，其特征在于，老师网络和学生网络均有逻辑分布输出结果，对网络的逻辑分布做了两种变换来用于传递不同维度的知识信息：一种是对网络输出的逻辑分布结果进行归一化得到其对应的概率分布结果，另一种是对网络输出的逻辑分布结果进行临近像素逻辑分布的一致性计算得到一致性矩阵。

3.根据权利要求1所述基于迁移学习提升语义分割模型效果的框架，其特征在于，所述把生成标签数据加入模型的训练集中，再通过框架训练提升学生网络的分割效果具体为：

把无标签的图像输入到老师网络得到的分割结果作为无标签图像的真实类标，然后把这些带预测标签的图片加入到原有的训练数据集中进行老师-学生模型框架的训练；于是总共有两个老师-学生学习过程，一个是进行在手工标注的训练集拥有精确的标注结果，另一个进行在无标签数据拥有老师网络生成的带噪声的预测结果；以上的两个学习过程联合起来一起学习，用标注和未标注数据进行的老师-学生学习过程的目标函数将是：

L＝L_LabeledData+λL_{unlabeledData}

上述函数中L_LabeledData是老师-学生学习过程在精确标签训练数据集上得到的损失函数，L_{unlabeledData}代表的是老师-学生学习过程在无标签训练数据集上得到的损失函数；这里还通过一个超参λ来控制两个不同数据集的老师-学生学习过程的平衡，最终我们通过最小化目标损失函数L，来使得使用无标签数据的老师-学生学习过程达到提升学生网络的效果。