[发明专利]面向非独立同分布场景的联邦学习蒸馏方法及装置

说明书

本发明涉及人工智能技术领域，提供一种面向非独立同分布场景的联邦学习蒸馏方法及装置，该方法借助于目标终端的非标签数据与目标终端的初始标签数据的相似度、与其他终端的初始标签数据的第一特征相似度以及目标终端的初始标签数据与其他终端的初始标签数据的第二特征相似度，可以丰富初始教师模型以及基础模型的训练样本，不仅可以大大提高初始教师模型以及基础模型的训练效率，还可以使得到的目标教师模型以及学生模型的泛化能力更强，进而可以提升联邦学习得到的聚合模型的准确性。此外，该方法结合知识蒸馏以及联邦学习，可以使学生模型学习到自身完全不存在的其他终端的知识，即自身数据没有相关标签，但是能通过联邦学习学到相关知识。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种面向非独立同分布场景的联邦学习蒸馏方法及装置。

背景技术

联邦学习(Federated Learning，FL)是一种新型的模型训练方法，可以通过各个分散的终端设备，将服务端下发的全局模型通过本地数据先进行初步训练，再让每个终端设备将初步训练好的本地模型上传到服务端，在服务端对每个上传的本地模型进行统一聚合，并将聚合模型下发至各终端设备。联邦学习实现了既让本地数据不泄漏，有效地保护了本地数据的隐私安全，又实现了充分利用海量分散的本地数据进行模型训练，获得拟合性能更加优良的本地模型。由于联邦学习允许参与者在不共享数据的前提下协同训练模型，很好地保护了本地数据的隐私并打破数据孤岛，因此联邦学习受到了广泛的关注，尤其广泛应用于分布式训练场景。

在分布式训练场景下，很多传统的分布式机器学习算法，都需要假设数据分布是均匀的，即各个终端设备之间的数据分布需要服从独立同分布(Independent-andIdentically-Distritributed，IID)。然而，在现实生活中，本地数据的产生无法控制，不同终端设备上独立产生本地数据，当多个分散的终端设备作为联邦学习的参与方时，各个终端设备上的本地数据有可能是非独立同分布(Non-Independent-and-Identically-Distributed，Non-IID)的，甚至本地数据带有的标签也是非独立同分布的，这将导致联邦学习中模型训练效率大幅下降，模型泛化能力弱的问题出现。而且，联邦学习的参与方在进行联邦学习后，得到的聚合模型的准确性提升不大，甚至会有所降低。

因此，如何提高联邦学习在Non-IID场景下的模型训练效率，提升模型泛化能力，提高聚合模型的准确性至关重要。

发明内容

本发明提供一种面向非独立同分布场景的联邦学习蒸馏方法及装置，用以解决现有技术中存在的缺陷。

本发明提供一种面向非独立同分布场景的联邦学习蒸馏方法，应用于目标终端，所述目标终端归属的目标服务端下各终端的数据和/或标签满足非独立同分布；所述方法包括：

确定所述目标终端的初始标签数据以及非标签数据，并基于所述非标签数据与所述目标终端的初始标签数据的相似度，对所述非标签数据进行标注，得到第一标签数据；

基于所述非标签数据与所述其他终端的初始标签数据的第一特征相似度，对所述非标签数据进行标注，得到第二标签数据，基于所述目标终端的初始标签数据与所述其他终端的初始标签数据的第二特征相似度，确定第三标签数据；

将所述目标终端与所述目标服务端下其他终端进行标签对齐，并基于所述目标终端的初始标签数据、所述第一标签数据、所述第二标签数据、所述第三标签数据以及标签对齐结果，对初始教师模型进行训练，得到目标教师模型，并基于所述目标教师模型，对所述目标终端的初始标签数据进行标签预测，得到所述目标终端的初始标签数据的软标签；

基于所述目标终端的初始标签数据的软标签、所述目标终端的初始标签数据、所述第一标签数据、所述第二标签数据以及所述第三标签数据，对基础模型进行本地蒸馏，得到学生模型，并基于所述学生模型进行联邦学习。

根据本发明提供的一种面向非独立同分布场景的联邦学习蒸馏方法，所述第一特征相似度，基于如下步骤确定：