[发明专利]基于模型参数和剪枝策略的持续学习图像识别方法及装置

说明书

本发明公开了一种基于模型参数和剪枝策略的持续学习图像识别方法及装置，方法包括：收集新增类别数据及历史类别数据；构建持续学习图像识别模型；将新增类别数据与Rehearsal策略保存的部分旧类别数据合并，组成训练数据；输入持续学习图像识别模型中，新增特征提取器和FC层；利用知识蒸馏训练持续学习图像识别模型，并使用剪枝策略去除新增特征提取器中不重要的卷积核；对新增类别数据及历史类别数据使用Rehearsal策略，保存部分类别数据；将待测试数据输入持续学习图像识别模型中进行测试，获得图像识别结果。本方法从模型参数角度，采用知识蒸馏解决了图像识别中持续学习问题，结合剪枝策略减缓模型参数量的增长速度，提高了图像识别的准确率和效率。

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于模型参数和剪枝策略的持续学习图像识别方法及装置。

背景技术

图像识别是根据目标在图像信息中反映出的不同特征，把不同类别的目标区分开的一种图像处理方法，在图像识别领域中，通常使用历史类别图像数据来训练模型，但是当出现新类别图像数据时，历史类别图像数据因为各式各样的原因，如数据丢失等原因而不能在被使用，此时只能用新类别图像数据重新训练模型，通过调整参数来识别新类别图像数据，但这会导致模型遗忘甚至彻底遗忘历史任务，这种遗忘被称为灾难性遗忘。一般通过持续学习解决此类问题，当新类别图像数据出现时，利用少部分甚至不使用历史类别图像数据，训练出一个性能上逼近于利用全部数据训练的模型。目前持续学习领域主要有Regularization、Rehearsal两类方法，Regularization通过往损失函数中添加正则项的方式，阻止模型参数发生太多变化，从而防止模型遗忘历史类别的特点，Rehearsal方法会保留一部分旧类别的数据，用于不断复习回顾，在模型学习新类别数据的同时混合历史类别的数据，让模型能够学习新类别数据的同时，兼顾考虑旧类别数据。上述方法虽然一定程度上缓解了灾难性遗忘，但是图像识别的准确率仍然较差。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于模型参数和剪枝策略的持续学习图像识别方法及装置，该方法能有效缓解持续学习过程中灾难性遗忘的问题，同时减缓了参数量的增长速度，有效的提高了持续学习能力和图像识别的准确率。

为了达到上述目的，本发明采用以下技术方案：

一方面，本发明提供一种基于模型参数和剪枝策略的持续学习图像识别方法，包括下述步骤：

收集新增类别数据及历史类别数据；

构建持续学习图像识别模型；所述持续学习图像识别模型包括多个特征提取器、多个FC层和NME分类器；所述特征提取器用于提取类别数据的特征；所述FC层用于对特征进行筛选过滤；所述NME分类器用于对特征进行分类；

将新增类别数据与Rehearsal策略保存的部分旧类别数据合并，组成训练数据；

将训练数据输入持续学习图像识别模型中，新增特征提取器和FC层；

利用知识蒸馏训练持续学习图像识别模型，并使用剪枝策略去除新增特征提取器中不重要的卷积核；

对新增类别数据及历史类别数据使用Rehearsal策略，保存部分类别数据；

将待测试数据输入持续学习图像识别模型中进行测试，获得图像识别结果。

作为优选的技术方案，所述持续学习图像识别模型中的特征提取器与FC层一一对应，数量一致。

作为优选的技术方案，所述新增特征提取器和FC层，具体指：

当第T轮收集到新增类别数据时，在持续学习图像识别模型中新增第T个特征提取器及对应的第T个FC层。

作为优选的技术方案，所述利用知识蒸馏训练持续学习图像识别模型，具体为：