[发明专利]一种面向联邦学习的连续学习方法

权利要求书

1.一种面向联邦学习的连续学习方法，其特征在于：联邦学习系统包括服务端和若干客户端，该方法的步骤如下：

(1)在确定学习任务后，服务端和各客户端通过搜集若干个与任务类型匹配的无隐私问题的公开数据集，各自独立地构建一份辅助数据集，用于后续训练过程；服务端将其维护的辅助数据集分成与客户端数量相等的若干子集。

(2)客户端在开始本地训练之前，将辅助数据集输入模型，记录其输出作为辅助标签。

(3)在联邦学习的本地训练阶段，客户端借助知识蒸馏损失让本地模型在学习新任务的同时学习辅助数据集以及辅助标签，从而减少对旧知识的遗忘；每个客户端将新任务的优化目标与知识蒸馏损失相加后作为最终的优化目标。

(4)本地训练完成后，各个客户端将本地模型上传至服务端，服务端依照聚合算法对本地模型进行模型聚合。

(5)在完成模型聚合之后，服务端记录每个本地模型在对应辅助数据集上的输出作为辅助标签；服务端借助知识蒸馏损失，让聚合模型学习辅助数据集及其记录的辅助标签，从而减少模型在聚合过程中产生的遗忘。

(6)联邦学习系统在任务序列中的每个任务的训练过程中重复上述步骤(2)至步骤(5)。

2.根据权利要求1所述的一种面向联邦学习系统的连续学习方法，其特征在于：所述步骤(2)具体为：每个客户端具体将其辅助数据集输入已经学习过旧任务的模型，并记录其输出作为辅助标签：学习过旧任务的模型是指已经在一些数据上训练至收敛的神经网络，记录的输出是指神经网络在辅助数据集上的输出向量。

3.根据权利要求1所述的一种面向联邦学习系统的连续学习方法，其特征在于：所述步骤(3)具体为：在联邦系统学习新任务的本地训练阶段，一部分客户端仅以新任务的损失为优化目标，迭代更新本地模型；另一部分客户端以辅助数据集及辅助标签构造知识蒸馏损失，这些客户端仅以此知识蒸馏损失为优化目标，迭代更新本地模型。