[发明专利]一种基于对比知识蒸馏的类别增量语义分割方法

权利要求书

1.一种基于对比知识蒸馏的类别增量语义分割方法，其特征在于，包括：

步骤1：构建增量学习策略，设定总学习类别C^T，设定增量学习过程{Step⁰,Step¹,…,Step^T}，设定在增量学习步骤Step^t中，训练集为D^t，在类别增量语义分割任务中，当在D^t上进行模型训练时，无法获取旧有类别的标注数据，且仅有当前类别C^t对应的标注；

步骤2：设定基础训练类别，将图像样本与标注送入所构建的特征提取网络中，训练基础模型M⁰；相应地，将第t步增量学习训练得到的模型记为M^t；

步骤3：针对第t步增量学习步骤Step^t，将第t-1步增量学习训练得到的模型记为M^t-1作为教师模型T，将第t步增量学习训练得到的模型M^t作为学生模型S，通过所构建的密集对齐式知识蒸馏策略构建知识蒸馏损失，将特征提取能力迁移到学生模型S中；利用所构建的非对称隐空间区域对比学习策略构建对比学习损失，提升模型M^t已知类别与新增类别的区分能力；利用所构建的类别感知伪标注生成策略将待训练样本送入模型M^t-1得到已知类别的伪标注，并将其与第t步增量学习步骤获取的人工标注进行像素级融合，用于监督M^t的训练过程；

步骤4：基于步骤3所述内容利用训练集D^t进行增量学习的训练，得到训练好的第t步模型M^t；

步骤5：迭代执行步骤3和步骤4，直至增量学习的类别数量达到设定的总学习类别C^T。

2.根据权利要求1所述的一种基于对比知识蒸馏的类别增量语义分割方法，其特征在于，构建知识蒸馏损失具体包括：

在第t步增量学习步骤Step^t中，将输入的图像批分别送入第t-1步的模型M^t-1和第t步的模型M^t中提取深度特征{f_l^t-1,f_l^t},l∈N^l；其中l代表特征提取网络的当前特征层，N^l代表特征提取网络的总层数；

对于中间特征层{l₁,l₂,l₃}，基于空洞空间池化金字塔计算不同尺度特征的特征响应

其中，Λ表示经过空洞空间金字塔池化后将深度特征转化为一维张量的操作；

针对中间层特征蒸馏，利用KL散度计算张量之间的距离：

其中d_D(·)为KL散度距离，和分别代表M^t-1和M^t对于像素i的预测类别概率，W'与H'分别为特征嵌入的高度和宽度；

针对输出层{l_out}，计算模型M^t-1和模型M^t的特征表达经过非线性激活层后的特征张量之间的相似度约束输出层特征蒸馏；

构建衰减式层感知权重：

其中α为初始化蒸馏权重，n_l和N_l分别表示当前特征层深度与总特征层数，γ为小于1的正的常系数，n_e和N_e分别表示第n个训练轮数和总训练轮数；

基于衰减式层感知权重引导中间层特征蒸馏，中间层蒸馏损失为：

输出层蒸馏损失为：

基于中间层蒸馏损失L^IL-D与输出层蒸馏损失L^OL-D计算密集对齐式知识蒸馏策略的损失函数L^DADA：

L^DADA＝L^IL-D+λL^OL-D

其中λ为常系数，用于平衡中间特征层与输出层在知识蒸馏中的贡献度。