[发明专利]一种用于小样本类增量学习的多粒度快慢学习方法

权利要求书

1.一种基于特征空间组合小样本类增量学习的图像分类方法，其特征在于，包括以下步骤：

S1、连续获取多个图像分类任务的数据流，在每个类增量学习会话中只能获得一个图像分类任务的训练数据集；

S2、在第一个类增量学习会话中，以基任务作为第一个任务的训练数据集，学习得到基任务网络模型，慢更新网络模型和快更新网络模型都以基任务网络模型作为初始化模型；

所述的基任务网络模型是由嵌入网络和最近类均值分类器组成的图像分类模型；所述嵌入网络作为特征提取器，用于将一个给定的样本映射到一个表征空间，在该表征空间中样本间的距离表示样本间的语义差异；训练得到嵌入网络后，用所述最近类均值分类器对样本进行分类；

所述的基任务网络模型中，仅有嵌入网络是可学习的，所述嵌入网络在学习过程中，以最小化度量学习损失为目的；

S3、在下一个类增量学习会话中，基于新任务的训练数据集，以慢的多粒度学习方法更新前一个类增量学习会话中训练得到的慢更新网络模型，同时以快的多粒度学习方法更新前一个类增量学习会话中训练得到的快更新网络模型；

所述慢的多粒度学习方法指在特征空间之间粒度使用小学习率更新特征空间和在特征空间内部粒度对低频分量做知识迁移时使用大权重；

所述快的多粒度学习方法指在特征空间之间粒度使用大学习率更新特征空间和在特征空间内部粒度对低频分量做知识迁移时使用小权重；

且所述大学习率为所述小学习率的5倍以上，所述大权重为所述小权重的5倍以上；

S4：完成一个类增量学习会话后，通过慢更新网络模型得到慢更新特征空间，通过快更新网络模型得到快更新特征空间，对两个特征空间进行组合，得到一个组合特征空间，利用组合特征空间进行图像分类；

S5：当存在新任务的训练数据集时，重复S3和S4，利用新数据对网络模型进行学习；

所述S1中，所述的类增量学习会话定义如下：

从当前图像分类任务的数据到达后至下一个图像分类任务的数据到达的时间间隔是一个类增量学习会话；

所述多个图像分类任务的数据流定义如下：

数据流D由N个图像分类训练数据集构成，D＝{D⁽¹⁾，D⁽²⁾，...，D^(N)}，其中第t个图像分类任务的训练数据集为D^(t)，D^(t)仅在第t个类增量学习会话中被获取到并用于模型的训练学习，在小样本类增量学习中D⁽¹⁾为基任务数据；C^(t)是第t个任务数据的类别集合，不同任务间包含的图像数据类别没有重叠；

所述的度量学习损失采用三元组损失

其中d₊表示代表图像样本x_a和正图像样本x_p的特征之间的欧式距离，d_-表示代表图像样本x_a和负图像样本x_n的特征之间的欧式距离，r表示阈值；

所述S3中，以慢的多粒度学习方法更新前一个类增量学习会话中训练得到的慢更新网络模型时，以最小化损失函数为目的对嵌入网络进行参数优化，其中：

式中是用于保持旧知识的正则项，λ是用于平衡和的系数；

为图像样本x_j的特征，通过离散余弦变换对特征分解得到不同频域分量：

式中Q是频域分量的数量，频域分量是在频域上的第q个分量，q＝1，2，...，Q；在特征空间内粒度的慢学习方法为：

式中和分别表示第t个和第t-1个类增量学习会话中的频域分量是正则项中逼近旧特征空间第q个频域分量的权重，通过增大低频频域分量的权重至所述大权重训练慢更新网络模型；

通过所述小学习率训练得到嵌入网络后，用最近类均值分类器进行分类：

式中：为第j个图像样本x_j的预测分类标签；∪_iC⁽ⁱ⁾表示所有任务数据的类别集合；dist(.，.)表示距离度量；是类别c的样本特征均值，定义如下：

式中：n_c是类别c的样本数量，[y_j＝c]表示判断y_j＝c是否成立，若成立则[y_j＝c]的值为1，否则[y_j＝c]的值为0。

所述S3中，以快的多粒度学习方法更新前一个类增量学习会话中训练得到的快更新网络模型时，以最小化损失函数为目的对嵌入网络进行参数优化，其中：

式中是用于保持旧知识的正则项；

为图像样本x_j的特征，通过离散余弦变换对特征分解得到不同频域分量：

式中Q是频域分量的数量，频域分量是在频域上的第q个分量，q＝1，2，...，Q；在特征空间内粒度的快学习方法为：

式中和分别表示第t个和第t-1个类增量学习会话中的频域分量是正则项中逼近旧特征空间第q个频域分量的权重，通过降低低频分量的权重至所述小权重训练快更新网络模型；

通过所述大学习率训练得到嵌入网络后，用最近类均值分类器进行图像分类；

所述S4具体包含以下子步骤：

S41、每完成一个类增量学习会话后，从慢更新网络模型中得到慢更新特征空间，从快更新网络模型中得到快更新特征空间，对两个特征空间进行组合，得到一个组合特征空间；所述的组合特征空间表示如下：

对图像样本x_j，其经过组合特征空间后得到的组合特征为

式中：Ψ(.，.)表示特征的空间组合函数，表示图像样本x_j在当前会话中更新后得到的慢更新特征空间的特征，表示图像样本x_j在当前会话中更新后得到的快更新特征空间的特征；

S42、利用组合特征空间，通过一个最近类均值分类器进行图像分类，图像分类方法如下：

其中：表示第j个图像样本x_j的预测分类标签，A表示度量矩阵，表示基于慢更新特征空间得到的类别c中所有图像样本的特征均值，表示基于快更新特征空间得到的类别c中所有图像样本的特征均值。