[发明专利]联邦学习方法、装置及联邦学习系统

权利要求书

1.一种联邦学习方法，所述联邦学习方法由联邦学习系统执行，所述联邦学习系统包括至少两个第一成员设备和第二成员设备，第一成员设备具有用于全局模型训练的本地数据，所述联邦学习方法包括：

在各个第一成员设备处，

使用本地数据训练全局模型得到各个模型参数的本地参数更新量；

从全局模型的模型参数中选择适合于本地训练的部分模型参数；

将所选择的模型参数的本地参数更新量发送给第二成员设备，

在第二成员设备处，

使用从各个第一成员设备接收的本地参数更新量重构全局模型的各个模型参数的参数更新量；

基于所述重构的各个模型参数的参数更新量进行全局模型更新；以及

将更新后的全局模型作为下一模型训练过程的全局模型发送给各个第一成员设备。

2.如权利要求1所述的联邦学习方法，其中，从全局模型的模型参数中选择适合于本地训练的部分模型参数包括：

基于本地数据的数据特性，从全局模型的模型参数中选择适合于本地训练的部分模型参数。

3.如权利要求1所述的联邦学习方法，其中，将所选择的模型参数的本地参数更新量发送给第二成员设备包括：

将所选择的模型参数的本地参数更新量以隐私保护方式发送给第二成员设备。

4.如权利要求3所述的联邦学习方法，其中，所述第二成员设备包括第一数目个第二成员设备，

将所选择的模型参数的本地参数更新量以隐私保护方式发送给第二成员设备包括：

将各个所选择模型参数的本地参数更新量分片为第一数目个参数更新量分片；以及

将各个所选择模型参数的参数更新量分片中的一个参数更新量分片发送给所述第二成员设备中的一个第二成员设备，

其中，各个第二成员设备使用所接收的参数更新量分片协同重构全局模型的各个模型参数的参数更新量。

5.如权利要求4所述的联邦学习方法，其中，各个第一成员设备所发送的参数更新量的个数相同，所述第二成员设备包括两个第二成员设备，在各个第一成员设备处将各个所选择模型参数的本地参数更新量分片为第一数目个参数更新量分片包括：

使用第一哈希函数集来基于所选择模型参数的参数编号构建布谷鸟哈希表，所构建的布谷表哈希表的位置基于第一成员设备所发送的参数更新量个数确定，所选择模型参数的参数编号被插入所述布谷鸟哈希表的对应位置，并且所述布谷鸟哈希表中的每个位置放置一个参数编号；以及

基于所述布谷鸟哈希表和简单哈希表，使用分布式点函数将各个所选择模型参数的本地参数更新量分片为两个参数更新量分片，所述简单哈希表使用所述第一哈希函数集以及全局模型的所有模型参数的参数编号构建，其中，所述简单哈希表包括多行参数编号集合，每行参数编号集合放置一个或多个参数编号。

6.如权利要求5所述的联邦学习方法，其中，基于所述布谷鸟哈希表和简单哈希表，使用分布式点函数将各个所选择模型参数的本地参数更新量分片为两个参数更新量分片包括：

获取各个所选择模型参数的参数编号在所述布谷鸟哈希表中的第一位置；

确定各个所选择模型参数的参数编号在所述简单哈希表中与所述第一位置对应的一行参数编号集合中的第二位置；以及

基于各个所选择模型参数在所述简单哈希表中的第二位置，使用分布式点函数中的分布式密钥生成算法将各个所选择模型参数的本地参数更新量分别分片为两个参数更新量分片。

7.如权利要求6所述的联邦学习方法，其中，在各个第二成员设备处，使用从各个第一成员设备接收的本地参数更新量协同重构全局模型的各个模型参数的参数更新量包括：

在各个第二成员设备处，使用从各个第一成员设备接收的模型参数的参数更新量分片，重构全局模型的各个模型参数在该第二成员设备处的参数更新量分片；以及

各个第二成员设备使用各自得到的各个模型参数的参数更新量分片，协同计算全局模型的各个模型参数的参数更新量。