[发明专利]基于迁移学习提升语义分割模型效果的框架

摘要

本发明公开了一种基于迁移学习提升语义分割模型效果的框架，包括下述内容：1)将迁移学习引入到语义分割领域，使得快速语义分割网络可以通过教师模型提升学生模型分割效果；2)提出一致性映射度量教师和学生模型的轮廓和纹路信息，并通过构造一致性损失函数来使得快速语义分割在细节处分割得更好；3)利用老师模型和条件随机场(CRF)模型为无标签数据生成辅助标签，并把数据加入到训练集，提升模型的泛化能力和分割效果。本发明在不引入额外模型参数，降低模型速度的情况下，提升了快速语义分割模型的准确率。

主权项

1.基于迁移学习提升语义分割模型效果的框架，其特征在于，包括下述步骤：构建一个新的语义分割模型基础框架，所述语义分割模型基础框架由两个不同的网络组成，分别为老师网络和学生网络，所述老师网络为学生网路提供有益于分割的知识指导，使得学生网路能学到老师网络的知识来帮助其拥有更好的分割效果，所述学生网络用于在保证其分割的速度的同时从老师网络提供的知识中学习到有益于其分割效果的知识；通过目标函数将老师网络和学生网络连接起来，所述目标函数是由基于逻辑分布变换出来的信息形式构造的，该目标函数的具体内容如下：用S和T来分别表示公式中的学生网络和老师网络：L＝Ls+r(S,T)上述公式中，Ls是交叉熵损失函数，其实由图片的标签与学生网络的概率分布之间求交叉熵得到的损失函数；r(S,T)代表的是老师网络与学生网络之间的知识偏差，其作为一个正则化项来正则化学生网络的学习过程，通过r(S,T)这一项，学生网络和老师网络被连接起来，并且通过最小化L目标函数可以把老师网络的知识传递到学生网络；把r(S,T)函数定义为：r(S,T)＝αLp(S,T)+βLc(S,T)Lp(S,T)是老师网络与学生网络之间的概率分布损失函数，定义为函数中的I表示batch size的数量，G表示图片的像素集合，PS(x),PT(x)分别是学生和老师网络在图片区域每个像素点的概率分布输出，这个损失函数的定义是学生网络的输出概率分布跟老师网络的概率分布是相似的，这个函数可以捕抓到不同分割输出的零阶知识；为了补充LP损失函数捕捉到的零阶知识，LC函数被用于捕获学生网络和老师网络输出的一阶知识，定义LC函数为：其中函数中的I表示batch size的数量，G表示图片的像素集合，一致性矩阵C(x)定义为B(x)意味着像素x的8个临近的像素，I(x)是对应网络像素点的逻辑分布输出；利用网络结构中的老师网络对无标签数据进行标签预测生成伪标签，并把生成标签数据加入模型的训练集中，再通过框架训练提升学生网络的分割效果。