[发明专利]一种基于联邦学习的异构模型聚合方法和系统

权利要求书

1.一种基于联邦学习的异构模型聚合方法，其特征在于，包括以下步骤：

S1、在每个客户端设有本地数据集并且初始化一个神经网络模型，在服务端初始化一个神经网络模型；

S2、每个客户端贡献出一小部分本地数据，将其上传到服务端；

S3、所上传的本地数据在服务端形成一批共享数据集，利用共享数据集训练出CGAN模型；

S4、每个客户端从服务端下载共享数据集和CGAN模型到本地；

S5、服务端随机选取若干个客户端；

S6、客户端利用本地数据集和CGAN模型生成的数据使用增强迭代方法训练本地客户端模型；

S7、客户端使用本地客户端模型依次对共享数据集每个数据进行预测并将预测分数上传到服务端；

S8、服务端使用JS函数计算各个客户端与其它客户端预测分数偏差程度并将计算出的结果的倒数作为其预测分数的权重；

S9、根据预测分数P_i及步骤S8计算出的各个客户端的预测分数权重及其预测分数，使用加权平均方法计算出全局预测分数；

S10、服务端模型使用共享数据集和全局预测分数对服务端模型进行知识蒸馏；

S11、客户端从服务端下载其它客户端模型的预测分数，然后通过其它客户端模型的预测分数与本地客户端模型的预测分数对本地客户端模型进行合作训练；

S12、多次迭代步骤S5到S11，最终服务端模型与客户端模型收敛；

S13、每个客户端下载服务端模型到客户端的计算机。

2.根据权利要求1所述的异构模型聚合方法，其特征在于，在步骤S1中，每个客户端的神经网络模型的模型结构和模型参数都不相同，每个客户端本地数据集数据分布情况都不相同。

3.根据权利要求1所述的异构模型聚合方法，其特征在于，在步骤S3中，共享数据集的数据类别是均衡的，一个CGAN模型只可以生成一种类别的数据。

4.根据权利要求1所述的异构模型聚合方法，其特征在于，在步骤S5中，服务端随机选取的客户端个数小于总的客户端个数。

5.根据权利要求1所述的异构模型聚合方法，其特征在于，在步骤S6中，所述增强迭代方法包括步骤：

S61：对于数据的每种类别j，使用CGAN模型G_j生成一个类别均为j的数据集d_j，其中数据集d_j的大小为N，使用数据集d_j对本地模型M_i根据以下公式进行一轮的训练：

其中CrossEntropyLoss()为交叉熵损失函数，θ_i为本地客户端模型M_i的参数，η为学习率，为本地客户端模型M_i对数据集d_j第n个数据的预测，j为数据标签。使用数据集d_j训练后，计算训练过程中本地客户端模型M_i对数据集d_j中全部数据的平均预测分数平均预测分数按以下公式得到：

S62：使用本地数据集D_i对本地模型M_i根据以下公式进行多轮的训练：

其中KLDivLoss()为相对熵损失函数，CrossEntropyLoss()为交叉熵损失函数，θ_i为本地客户端模型M_i的参数，η为学习率，α为正则化参数，为本地客户端模型M_i对本地数据集D_i第n个数据的预测，为本地数据集D_i第n个数据的标签，为本地数据集D_i第n个数据的标签类别对应的平均预测分数。