[发明专利]保护用户隐私的联邦学习和图像分类方法、系统及终端

说明书

本发明提供一种保护用户隐私的联邦学习和图像分类方法、系统及终端，联邦学习方法包括：采集各终端上用户行为产生的数据，保存于该本地终端；服务器发送一个统一的模型给各终端，各终端利用采集到的所述数据训练所述模型；将各终端训练后的所述模型上传到所述服务器，所述服务器对所述模型先在不同终端之间进行交换后再全局聚合，或者，所述服务器对所述模型先进行部分聚合后再在不同终端之间交换，最后进行全局聚合。网络系统包括：本地训练模块、模型通信模块、模型交换模块、模型聚合模块。本发明对各终端数据分布不相同的联邦学习场景能得到比传统方法更好的效果，且保证了整个系统的隐私保护能力，使其能适应各种应用场景。

技术领域

本发明涉及一种保护用户隐私的技术，具体涉及的是一种保护用户隐私的联邦学习方法、网络系统及终端，以及相应的图像分类方法。

背景技术

在拥有大量数据的情况下，机器学习已经能够在诸如分类、检测等任务上表现出接近或超过人类的效果。这些数据可以从不同类型终端，如计算机、手机、智能家居等设备中收集得到。但是，数据收集行为往往会受到相关法律法规以及用户对隐私安全担心的限制。例如，欧盟于2019年开始执行《通用数据保护条例》(“General Data ProtectionRegulation”,GDPR)，来限制企业对用户数据的收集；美国也有《健康保险流通与责任法案》(“Health Insurance Portability and Accountability Act”,HIPAA)，限制医疗机构间对病人数据的共享。因此，在保护用户数据隐私的情况下进行机器学习，无法采用将用户数据上传到服务器进行中心化训练，亟需新方法。

经过对现有技术的文献检索发现，McMahan等人在2016年发表的“Communication-efficient learning of deep networks from decentralized data”一文中提出了一种方法FedAvg，首先将初始化模型下载到各终端，各终端利用本地数据训练更新模型参数，这些更新被送到服务器并进行聚合，得到一个更新后的模型，该模型将作为下一次的初始化模型被下载到各终端，重复这一操作直到模型收敛。然而，由于各终端数据分布不同，训练得到的模型也会有很大的差异，单纯的模型参数平均将会使聚合后模型整体效果有较为明显的下降。为了应对数据非独立同分布的问题，Zhao等人在论文“Federated learningwith non-iid data”中提出了在终端间共享一部分公共数据，使各终端数据的分布更接近真实分布，从而提升模型整体效果的方法。但是这种方法实际上违背了联邦学习对隐私保护的基本假设，不适用于严格要求隐私保护的联邦学习场景，限制了其使用领域。

发明内容

本发明针对现有技术不足，提供了一种保护用户隐私的联邦学习和图像分类方法、网络系统及终端，可以在不需要终端间共享本地数据的情况下，提高模型学习整体效果，保证对数据隐私的保护。

根据本发明的第一方面，提供一种保护用户隐私的联邦学习方法，包括：

采集各终端上用户行为产生的数据，保存于该本地终端；

服务器发送一个统一的模型给各终端，各终端利用采集到的所述数据训练所述模型；

将各终端训练后的所述模型上传到所述服务器，所述服务器对所述模型先进行交换后再全局聚合，或者，所述服务器对所述模型先进行部分聚合后交换，再进行全局聚合。

可选地，所述服务器对所述模型先进行交换后再全局聚合，包括：

将所有终端上传的所述模型随机打乱，并将打乱后的所述模型发送给除所述本地终端之外的终端，实现所述模型在各终端之间的交换，使各模型在除所述本地终端之外的其它任意一个随机选定的终端上进行训练更新；

将各终端交换后训练更新的所述模型再上传到所述服务器，所述服务器对所有终端的模型进行聚合。