[发明专利]一种联邦学习场景下的全连接神经网络模型聚合方法

权利要求书

1.一种联邦学习场景下的全连接神经网络模型聚合方法，其特征在于：包括以下步骤：

S1:中央服务器向提供独立模型的所有用户下发神经网络的超参数和参数，设定S3-S5的循环次数；

S2:每个用户根据从中央服务器得到的超参数建立统一的神经网络；

S3:每个用户将神经网络的初始值设为从中央服务器得到的参数，并利用各自的数据进行各自的神经网络训练；

S4:在各自的神经网络训练结束后，每个用户向中央服务器上传各自的神经网络参数，即用户模型参数；

S5:中央服务器收集所有用户模型参数，进行聚合，得到联合模型，再将联合模型的参数下发给每个用户；

S6：中央服务器判定是否达到循环次数，未达到设定的循环次数，则返回S3，当达到设定的循环次数，循环结束。

2.根据权利要求1所述的一种联邦学习场景下的全连接神经网络模型聚合方法，其特征还在于：所述中央服务器将收集到的所有神经网络参数聚合，得到联合模型的过程如下：

S5-1：假设共有a个用户模型，全连接神经网络的所有层中，节点数最多的层有n_max个节点，每个数据样本的特征向量中含有b个特征，其数值范围为[min,max]，中央服务器生成a(n_max+1)个一维随机向量X_i，大小为1×b，数值范围为[min,max]；

S5-2：中央服务器针对每个用户模型，分别用(n_max+1)个不同一维向量X_j作为模型输入，计算模型中位于每个节点的特征值，如若(i-1)·(n_max+1)j≤i·(n_max+1)，将X_j作为第i个用户模型的输入计算每个节点的特征值，记为F_i(X_j)；

S5-3：中央服务器从联合模型的第一个中间层开始，逐层计算中间层中每个节点对应的参数；

S5-4：将得到的所有节点对应的参数添加到全连接神经网络中，整合为联合模型。

3.根据权利要求2所述的一种联邦学习场景下的全连接神经网络模型聚合方法，其特征还在于：所述逐层计算中间层中每个节点对应的参数的过程如下：

每个节点参数的计算方法相同，其中x₁,x₂,…,x_n为该节点的输入，即前一层节点的输出，任一X_j((i-1)·(n_max+1)j≤i·(n_max+1))可建立一个方程：

其中，n为前一层节点数，x₁,x₂,…,x_n为将X_j作为联合模型的输入得到的第k-1层输出，v_k为将X_j作为第i个用户模型的输入计算得到的该位置节点的特征值，w_k1,w_k2,…,w_kn和b_k为未知数，a(n_max+1)个一维随机向量X_i建立关于同一个节点的a(n_max+1)个方程，建立超定方程组，求解该超定方程组得到的w_k1,w_k2,…,w_kn和b_k为联合模型关于该位置节点的参数。