[发明专利]一种联邦学习场景下的全连接神经网络模型聚合方法

说明书

本发明公开了一种联邦学习场景下的全连接神经网络模型聚合方法，属于人工智能领域，该方法通过中央服务器向提供独立模型的所有用户下发神经网络的超参数和参数，每个用户根据从中央服务器得到的超参数建立统一的神经网络；每个用户将神经网络的初始值设为从中央服务器得到的参数，并利用各自的数据进行各自的神经网络训练；在各自的神经网络训练结束后，每个用户向中央服务器上传各自的神经网络参数，即用户模型参数；中央服务器收集所有用户模型参数，进行聚合，得到联合模型；中央服务器判定是否达到循环次数；通过逐层逼近由每个客户端模型得到的特征，可得到适合所有用户使用的统一模型；提高了联合模型的全局准确率和泛化能力。

技术领域

本发明涉及人工智能领域，尤其涉及一种联邦学习场景下的全连接神经网络模型聚合方法。

背景技术

联邦学习，又名联邦机器学习、联合学习、联盟学习。联邦学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现AI协作。联邦学习定义了机器学习框架，在此框架下通过训练联合模型解决不同数据拥有方在不交换数据的情况下进行协作的问题。联合模型是各方将数据聚合在一起的最优模型，各自区域依据模型为本地目标服务。联邦学习要求此建模结果应当无限接近传统模式，即将多个数据拥有方的数据汇聚到一处进行建模的结果。在联邦机制下，各参与者的身份和地位相同，可建立共享数据策略。由于数据不发生转移，因此不会泄露用户隐私或影响数据规范。

目前利用各参与方的独立模型求解联合模型的方法有以下几种：(1)联邦平均(FedAvg)方法[1]：将各个设备汇总过来的参数进行加权平均，在处理独立同分布(IID)数据时可以获得较好的效果，但在处理非IID数据时生成的新模型效果可能并不好；拟议框架(FedProx)方法：对FedAvg做的改进，增加了一个修正项，称为proximal term，其本质是对本地模型权重参数和联合模型权重参数的一个差异限制，一次来增加模型训练的稳定性和模型的收敛性，但性能受到局部迭代次数和近端项的影响较大；关注聚合(FedAtt)方法：考虑了客户端模型对联合模型的贡献，并采用了一种关注机制，并在服务器聚合过程中采用了一种优化技术，通过迭代更新参数，同时关注服务器模型和客户端模型之间的距离，从而最小化了服务器模型和客户端模型之间的加权距离，计算较为复杂。

202010157458.3，发明名称为联邦学习梯度交换中的差异化加噪方法及系统，与本发明涉及相同领域，但不涉及新的模型聚合方法。

发明内容

根据现有技术存在的问题，本发明公开了一种联邦学习场景下的全连接神经网络模型聚合方法，包括以下步骤：

S1:中央服务器向提供独立模型的所有用户下发神经网络的超参数和参数，设定S3-S5的循环次数；

S2:每个用户根据从中央服务器得到的超参数建立统一的神经网络；

S3:每个用户将神经网络的初始值设为从中央服务器得到的参数，并利用各自的数据进行各自的神经网络训练；

S4:在各自的神经网络训练结束后，每个用户向中央服务器上传各自的神经网络参数，即用户模型参数；

S5:中央服务器收集所有用户模型参数，进行聚合，得到联合模型，再将联合模型的参数下发给每个用户；

S6：中央服务器判定是否达到循环次数，未达到设定的循环次数，则返回S3，当达到设定的循环次数，循环结束。

进一步地，所述中央服务器将收集到的所有神经网络参数聚合，得到联合模型的过程如下：