[发明专利]一种基于固定特征的调制信号增量学习方法

权利要求书

1.一种基于固定特征的调制信号增量学习方法，其特征在于，所述方法包括如下步骤：

S1:获取固定特征调制信号数据集；所述数据集为增量任务中出现的新旧类别数据集；

S2：将所述新旧类别数据集设为样本；

S3：构造以64层LSTM网络层结构为模型的主干网络，用于识别增量阶段任务中出现的新旧类别，所述数据集更新方式采用代表性记忆方法，即预定义的超参数K用于固定系统内存中保存的所述样本中旧类别数据的数目，从而联合所述样本中新数据训练LSTM模型；

S4：LSTM模型采用Adam训练优化器，同时，基础分类损失函数是交叉熵(CrossEntropy)损失函数，LSTM引入知识蒸馏损失函数，帮助新模型学习旧类别中的知识，缓解灾难性遗忘问题；

所述步骤S4中，LSTM引入知识蒸馏，在每一个增量步骤中，教师模型是前一个增量步骤中完全训练过的学生模型；而学生模型是当前步骤的更新模型，假设F(xi)是教师模型在i增量步骤中预测的输入xi的概率分布，G(xi)是学生模型的softmax层的输出，随着分类类别数目的增长，存储在每个类的代表性内存中的样本会减少；为了解决这个问题，学生模型可以从教师模型中学习已有的知识；

概率标签由教师模型的分类层计算得到，训练数据有两个标签，分别是概率标签和真实标签，每个样本的概率标签与类的尺寸相同，为了计算F(xi)和G(xi)之间的距离，使用Kullback-Leibler Divergence作为知识提取过程中的损失函数，通过最小化蒸馏损失，学生模型可以从教师模型中获得足够的信息，知识蒸馏损失函数的定义如下:

上式中T是将概率标签提升到指数1/T的温度参数，参数T可以强化训练模型中已有的知识；当T＝1时，知识蒸馏损失函数退化为分类损失函数，当温度值大于0.9时，得分较低的等级对结果的影响更小；当T1时，得分高的类对损失的影响较小，而得分低的类对损失的影响较大，因此，温度参数迫使网络更加关注细粒度分离，通过知识蒸馏，网络可以有选择地学习更加鲁棒的特征；

S5：训练方式采用任务相关的门机制，门机制是为每一个增量任务分配单独的隐藏层神经元，这些神经元仅仅在当前增量任务进行参数更新，并且每一个增量任务的神经元都不共用，在测试阶段，激活特定增量任务的神经元，从而获得固定的类别特征；

S6：重载上一增量阶段训练的最佳模型，重复S3～S5步骤，评估在所有测试集上的性能，直到训练完所有样本增量数据。

2.如权利要求1所述的一种基于固定特征的调制信号增量学习方法，其特征在于：所述步骤S3中，构造以64层LSTM网络层结构为模型的主干网络，用于识别信号数据集，所述数据集更新方式采用代表性记忆方法，即预定义的超参数K用于固定系统内存中保存的所述样本中旧类别数据的数目，从而联合新数据训练LSTM模型：内存中的每一类数据的数目都相同；每次增量训练结束后，随机删除内存中每一类的旧数据，为新到来的数据预留存储空间，动态修正向量用于训练过程中统计模型训练的数据类别，防止模型在预测阶段过多偏向于数据较多的类别。

3.如权利要求1或2所述的一种基于固定特征的调制信号增量学习方法，其特征在于：所述步骤S5中，训练方式采用任务相关的门机制，门机制是为每一个增量任务分配单独的隐藏层神经元，这些神经元仅仅在当前增量任务进行参数更新，并且每一个增量任务的神经元都不共用，任务相关的门机制可以减轻训练了大量增量任务的神经网络的灾难性遗忘，当任务之间的输入统计信息不同，并且输出域保持不变时，更重要的是，当任务之间的输入域和输出域不同时，此方法同样有效，在测试阶段，激活特定增量任务的神经元，从而获得固定的类别特征。