[发明专利]一种基于对比知识蒸馏的类别增量语义分割方法

说明书

本发明公开了一种基于对比知识蒸馏的类别增量语义分割方法，涉及计算机视觉与模式识别技术领域，针对灾难性遗忘问题，将旧模型视为教师模型，新模型视为学生模型，构建教师—学生网络之间的知识蒸馏策略，从中间特征层与输出层进行密集性知识对齐，从神经网络深层特征表达与输出层预测概率对新模型的训练进行约束，实现对旧模型知识的继承与对新增知识的兼容；针对语义漂移问题，在旧模型与新模型之间高维特征分布的非对称隐空间内，将已知类别作为锚点类，选取对应的正样本类别与负样本类别对应的特征嵌入，构建区域级正样本对与区域级负样本对，并设计三元组对比学习损失进行约束。

技术领域

本发明涉及计算机视觉与模式识别技术领域，更具体的说是涉及一种基于对比知识蒸馏的类别增量语义分割方法。

背景技术

语义分割任务是对图像中的每一个像素赋予一个标签，以实现对图像内容像素级的分类。目前基于深度学习的语义分割方法大多是孤立学习，即在闭合数据集上进行训练和测试，当使用神经网络学习序列任务时，模型在学习新的任务后可能因为灾难性遗忘的问题而导致模型在旧任务上的表现变得很差，使得实现持续学习的目标变得非常困难。

类别增量学习是持续学习的一种典型任务，现有的类别增量语义分割算法的问题主要分为两方面：一是基于深度学习的语义分割方法对大规模专家标注的需求，且在对新增类别进行学习时需要新旧类别的数据同时参与，需要极大的存储开销；二是现有的类别增量语义分割方法大多需要存储代表性旧数据，否则极易出现灾难性遗忘与语义漂移问题。其中灾难性遗忘是指在没有旧类别数据参与模型训练时，模型学习了新的知识之后，几乎彻底遗忘掉之前训练的内容的现象；语义漂移是指经过增量学习之后，模型参数的改变使得模型对于已知类别与新增类别的判别出现混淆，造成像素误分类。

因此，如何解决类别增量语义分割任务中灾难性遗忘与语义漂移是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于对比知识蒸馏的类别增量语义分割方法，无需存储旧有类别的代表性数据，节省了存储空间，同时解决了灾难性遗忘与语义漂移问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于对比知识蒸馏的类别增量语义分割方法，包括：

步骤1：构建增量学习策略，设定总学习类别C^T，设定增量学习过程{Step⁰,Step¹,…,Step^T}，设定在增量学习步骤Step^t中，训练集为D^t，在类别增量语义分割任务中，当在D^t上进行模型训练时，无法获取旧有类别的标注数据，且仅有当前类别C^t对应的标注；

步骤2：设定基础训练类别，将图像样本与标注送入所构建的特征提取网络中，训练基础模型M⁰；相应地，将第t步增量学习训练得到的模型记为M^t；

步骤3：针对第t步增量学习步骤Step^t，将第t-1步增量学习训练得到的模型记为M^t-1作为教师模型T，将第t步增量学习训练得到的模型M^t作为学生模型S，通过所构建的密集对齐式知识蒸馏策略构建知识蒸馏损失，将特征提取能力迁移到学生模型S中；利用所构建的非对称隐空间区域对比学习策略构建对比学习损失，提升模型M^t已知类别与新增类别的区分能力；利用所构建的类别感知伪标注生成策略将待训练样本送入模型M^t-1得到已知类别的伪标注，并将其与第t步增量学习步骤获取的人工标注进行像素级融合，用于监督M^t的训练过程；

步骤4：基于步骤3所述内容利用训练集D^t进行增量学习的训练，得到训练好的第t步模型M^t；