[发明专利]一种面向联邦学习的连续学习方法

说明书

本发明公开了一种面向联邦学习的连续学习方法。联邦学习服务端和各个客户端在确定学习任务后，通过搜集若干个与任务类型匹配的无隐私问题的公开数据集，各自独立地构建一份辅助数据集，用于后续训练过程；客户端借助知识蒸馏损失让本地模型在学习新任务的同时学习辅助数据集以及辅助标签，从而减少对旧知识的遗忘；服务端借助知识蒸馏损失让聚合模型同时学习辅助数据集以及辅助标签，从而减少模型在聚合过程中产生的遗忘。本发明在隐私安全且通信代价小的基础上，提升了联邦模型的连续学习能力。

技术领域

本发明涉及人工智能领域的连续学习方法，尤其涉及了一种面向联邦学习的连续学习方法。

背景技术

随着如手机、智能穿戴设备这类移动计算设备与传感器数量的增长，他们产生的数据也日益增多，传统的将数据收集汇总后进行学习的训练范式需要的计算成本以及存储成本也在不断增长。另一方面，边缘设备大多采集用户高度敏感的隐私信息，出于隐私保护的目的，设备及数据的拥有者也不愿共享出自己的数据，整合各方数据难度大且存在隐私隐患，各个数据拥有者形成相互隔绝的“数据孤岛”。联邦学习的训练模式被提出以解决上述的“数据孤岛”问题。

联邦学习是指多个数据持有者在不公开数据的情况下通过多轮通信联合学习一个任务。实际场景中，联邦各方在学习结束后仍会不断积累新的数据，由于存在概念漂移现象，这些新数据的分布不会与之前任务的数据完全相同。例如社交媒体会不断涌现新的网络用语，而仅学习某个任务就停止的神经网络模型将无法应对新出现的文本特征。这要求整个联邦系统不能止步于单个任务的学习，而是需要不断学习一系列任务，也即所谓的连续学习。另一方面，在联邦学习系统学习单个任务的多轮通信之间，部分客户端会由于网络问题暂时失联，这会使聚合模型遗忘与失联客户端相关的知识，这对联邦学习算法连续学习多个任务的能力提出了更高要求。

与数据集中存放和训练的传统场景类似，在联邦各方学习按序到来的一系列任务的过程中，同样会出现全局模型在旧任务的表现会随着新任务的学习而下降的现象，这种现象被称之为灾难性遗忘。

目前联邦学习领域还没有有关神经网络的灾难性遗忘的研究。传统研究中克服灾难性遗忘的方法有以下几类：一类方法保存部分旧数据，模型学习新任务时通过学习旧数据来克服遗忘；第二类方法则通过为每个任务单独训练一套神经网络；此外，也有方法通过在损失函数中增加正则化项，来限制对旧任务比较重要的参数的更新。

而联邦学习场景中存在诸多限制：保存旧数据将增加隐私安全风险，训练多套神经网络将大幅增加存储代价和训练过程中的通讯代价，而现有的定位重要参数的算法普遍效果较差，有待深入研究。

发明内容

本发明的目的在于针对现有技术的不足，提供一种面向联邦学习的连续学习方法，解决复杂联邦学习系统在学习单个任务以及按序学习多个任务的过程中发生的灾难性遗忘问题。

本发明解决其技术问题采用的技术方案如下：

(1)联邦学习各方在开始训练前首先要明确要学习的一系列任务的任务类型，特别是训练数据的类型；系统中的各个客户端搜集若干个与任务类型匹配的无隐私问题的公开数据集，各自独立地构建一份辅助数据集用于后续训练过程；服务端按相同方法维护一份辅助数据集，并将该辅助数据集分成与客户端数量相等的若干子集；

(2)联邦学习系统中的客户端在开始本地训练之前，将辅助数据集输入模型，记录模型输出作为辅助标签；本地模型在旧任务上学到的知识包含在这种辅助数据集到对应的模型输出间的映射关系；

(3)在联邦系统的本地训练阶段，客户端助知识蒸馏损失让本地模型在学习新任务的同时学习辅助数据集以及辅助标签，从而减少对旧知识的遗忘

(4)完成本地训练之后，各个客户端将更新后的本地模型上传至服务端，服务端依照某种聚合算法对本地模型进行模型聚合；