[发明专利]一种面向非独立同分布数据的分层用户训练管理系统及方法

权利要求书

1.一种面向非独立同分布数据的分层用户训练管理系统，其特征在于，包括顶层参数服务器、与所述顶层参数服务器通过局域网通信的中间层参数服务器以及与所述中间层参数服务器通过广域网通信的参与用户；

在训练准备阶段，所述中间层参数服务器用于通过计算中间层参数服务器的总数据分布和全局数据总分布向量的相似性对参与用户进行评分；

在训练准备阶段，所述顶层参数服务器用于根据评分结果对参与用户进行分组，并将分组结果广播至中间层参数服务器；

在训练阶段，所述中间层参数服务器用于根据分组结果在参与用户支链内利用序列联邦串行算法对模型副本进行串行训练，以及在参与用户支链之间利用联邦平均算法对模型副本进行并行训练和聚合处理；

在训练阶段，所述顶层参数服务器用于根据分组结果在中间层参数服务器之间利用联邦聚合算法对并行训练后的模型副本进行聚合处理，得到最终的全局模型，完成面向非独立同分布数据的分层用户的训练管理。

2.一种面向非独立同分布数据的分层用户训练管理方法，其特征在于，包括以下步骤：

S1、训练准备阶段：通过计算中间层参数服务器的总数据分布和全局数据总分布向量的相似性对参与用户进行评分，并根据评分结果利用顶层参数服务器对参与用户进行分组，并将分组结果广播至中间层参数服务器；

S2、训练阶段：根据分组结果，由中间层参数服务器在参与用户支链内利用序列联邦串行算法对模型副本进行串行训练，由中间层参数服务器在参与用户支链之间利用联邦平均算法对模型副本进行并行训练和聚合处理；以及在中间层参数服务器之间利用联邦聚合算法对并行训练后的模型副本进行聚合处理，得到最终的全局模型，完成面向非独立同分布数据的分层用户的训练管理。

3.根据权利要求2所述的面向非独立同分布数据的分层用户训练管理方法，其特征在于，所述步骤S1包括以下步骤：

S101、通过各中间层参数服务器随机选择参与用户；

S102、通过中间层参数服务器收集组内参与用户的数据分布，相加得到中间层参数服务器总的数据分布并将所述数据分布上传至顶层参数服务器；

S103、由顶层参数服务器接收中间层参数服务器的数据分布并利用联邦平均算法聚合得到全局数据总分布向量v_Global；

S104、通过顶层参数服务器将所述全局数据总分布向量v_Global广播至各中间层参数服务器；

S105、由各中间层参数服务器通过所述全局数据总分布向量v_Global以及组内相邻参与用户的数据分布向量，计算得到相邻参与用户的评分，并上传至顶层参数服务器；

S106、由顶层参数服务器根据所述相邻参与用户的评分对参与用户按照分组策略进行分组，并将分组结果广播至中间层参数服务器；

S107、由中间层参数服务器根据分组结果，重新连接对应的参与用户，完成对参与用户的分组。

4.根据权利要求3所述的面向非独立同分布数据的分层用户训练管理方法，其特征在于，所述步骤S105中相邻参与用户的评分的表达式如下：

Score_i＝cosv_Global,v_{local_i}

v_Global＝[n^g₁,n^g₂,n^g₃,...,n^g_m]

v_{local_i}＝[nⁱ₁,nⁱ₂,nⁱ₃,...,nⁱ_m]

其中，Score_i表示相邻参与用户的评分，v_Global表示全局数据总分布向量，v_{local_i}表示组内相邻的参与用户的数据分布向量，n^g_m表示全局拥有的第m类数据的数量，nⁱ_m表示第i个参与用户的第m类数据的数量。