[发明专利]基于差分隐私和量化的联邦学习全局模型训练方法

说明书

一种基于差分隐私和量化的联邦学习全局模型训练方法，其步骤为：中央服务器下发预训练的联邦学习全局模型，生成每个本地用户的本地模型梯度，对每个本地用户的本地模型梯度依次进行添加噪声，阈值量化，压缩量化，将压缩量化后的本地模型梯度上传至中央服务器，中央服务器对上传的本地模型梯度进行加权聚合并更新全局模型后下发给每个本地用户，当每个本地用户的隐私预算值耗尽或者联邦学习全局模型收敛时结束训练。本发明的方法在不损失联邦学习全局模型精确度的前提下，保护了本地用户的隐私，降低了传输过程中的通信开销，提高了联邦学习全局模型的训练效率。

技术领域

本发明属于数据处理技术领域，更进一步涉及机器学习模型梯度数据处理技术领域中的一种基于差分隐私和量化的联邦学习全局模型训练方法。本发明可用来从分散在用户本地的数据中训练机器学习模型，并支持保护单个用户隐私，减小用户梯度数据的传输规模，最终达到降低传输过程的通信开销以提升联邦学习全局模型训练效率的目的。

背景技术

联邦学习允许用户在不集中存储数据的情况下共同获得一个共享的全局模型。具体地，用户利用本地数据在本地训练各自的本地模型，并将训练好的本地模型梯度数据上传给中央服务器，由中央服务器进行聚合并更新全局模型。整个训练过程中，用户的数据不会离开用户的本地设备。但是，联邦学习中存在着大量的本地用户和中央服务器之间的交互通信。因此，通信效率成为制约联邦学习发展的主要因素。如何降低单次通信开销和整体通信次数以提升联邦学习通信效率成为了发展联邦学习的关键问题。

Truex等人在其发表的论文“LDP-Fed：federated learning withlocaldifferential privacy”(EuroSys'20：Fifteenth EuroSys Conference 2020.)中提出了一种基于本地差分隐私的联邦学习模型训练方法。该方法的主要步骤是：(1)用户初始化本地模型和本地差分隐私模块，服务器生成初始模型参数并发送给每个用户；(2)用户进行本地训练，并计算训练梯度；(3)每个用户利用本地差分隐私对其梯度进行扰动；(4)将模型参数的更新匿名发送到随机选择的k个用户；(5)服务器等待接收随机选择的k个参数更新；(6)服务器对收到的参数更新进行聚合；(7)服务器更新模型参数，并将更新的值下发给用户；(8)用户进行本地模型更新并执行步骤(2)以开始下一次迭代。该方法存在的不足之处是：该方法中由于用户需要上传全部的本地模型梯度，由此占用了大量的存储空间，增加了传输过程中的通信开销。

之江实验室在其申请的专利文献“一种联邦学习模型训练方法、装置及联邦学习系统”(申请号202011473442.X，申请公布号CN 112232528 A，公布日期2021.01.15)中提出了一种分区的联邦学习模型训练方法。该方法的主要步骤是：(1)一个边缘计算服务器与多个用户设备利用网络局部性的优势形成区域，用户依靠本地数据并采用截断的方式完成模型本地训练，边缘计算服务器负责所辖区域内用户的多轮更新并向云端联邦学习子系统发送更新后的模型梯度信息；(2)边缘计算服务器也采用截断的方式完成本地模型训练，云端联邦学习子系统负责多个边缘计算服务器的梯度更新；(3)训练到达收敛期时，分别对边缘计算服务器所辖区域内用户设备和云端联邦学习子系统负责的多个边缘计算服务器实施截断节点的补偿，形成全局联邦学习模型。该方法存在的不足之处是：由于用户需要直接给边缘计算服务器上传模型梯度信息，由此诚实但好奇的边缘计算服务器可进行反推攻击，导致用户的隐私泄露；同时，由于用户需要将全部的本地模型梯度上传给边缘计算服务器，由此占用了大量的通信带宽，导致本地模型梯度在传输过程中的通信开销过大。因此，该方法不仅泄露了用户隐私而且增加了通信成本。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于差分隐私和量化的联邦学习全局模型训练方法，用于解决联邦学习中上传本地模型梯度时产生的隐私泄露、通信成本大和计算开销大的问题。