[发明专利]半异步联邦学习的方法和通信装置

权利要求书

1.一种半异步式联邦学习的方法，其特征在于，包括:

计算节点在第t轮迭代中向K个子节点中的部分或全部发送第一参数，所述第一参数包括第一全局模型、第一时间戳t-1，其中，所述第一全局模型为所述计算节点在第t-1轮迭代中生成的全局模型，t为大于或等于1的整数，所述K个子节点是参与模型训练的所有子节点；

所述计算节点在第t轮迭代中接收至少一个子节点发送的第二参数，所述第二参数包括第一局部模型和第一版本号t'，其中，所述第一版本号表示所述第一局部模型是所述子节点基于本地数据集对在第t'+1轮迭代中接收的全局模型训练生成的，所述第一版本号是所述子节点根据第t'+1轮迭代中接收到的时间戳确定的，1≤t'+1≤t且t'为自然数；

当达到第一阈值时，所述计算节点使用模型融合算法对已接收到的m个第一局部模型进行融合，生成第二全局模型，同时将第一时间戳t-1更新为第二时间戳t，m为大于或等于1且小于或等于K的整数；

所述计算节点在第t+1轮迭代中向所述K个子节点中的部分或全部或子节点发送第三参数，所述第三参数包括所述第二全局模型、第二时间戳t。

2.根据权利要求1所述的方法，其特征在于，所述第一阈值包括时间阈值L和/或计数阈值N，N大于等于1且为整数，所述时间阈值L为预先设置的每轮迭代中用来上传局部模型的时间单元的个数，L大于等于1且为整数，以及，

所述当达到所述第一阈值时，所述计算节点使用模型融合算法对已接收到的m个第一局部模型进行融合，包括：

所述第一阈值为所述计数阈值N，所述计算节点使用模型融合算法对到达所述第一阈值时接收到的所述m个第一局部模型进行融合，所述m大于或等于所述计数阈值N；或者

所述第一阈值为所述时间阈值L，所述计算节点使用模型融合算法对在L个时间单元上接收到的m个第一局部模型进行融合；或者

所述第一阈值包括所述计数阈值N和所述时间阈值L，当达到所述计数阈值N和所述时间阈值L中任一阈值时，所述计算节点使用模型融合算法对已接收到的m个第一局部模型进行融合。

3.根据权利要求1或2所述的方法，其特征在于，所述第一参数还包括第一贡献向量，所述第一贡献向量包括所述K个子节点在所述第一全局模型中的贡献占比，以及

所述计算节点使用模型融合算法对已接收到的m个第一局部模型进行融合，生成第二全局模型，包括：

所述计算节点根据所述第一贡献向量、第一样本占比向量和所述m个第一局部模型对应的第一版本号t'确定所述第一融合权重，其中，所述第一融合权重包括所述m个第一局部模型中每一个局部模型和所述第一全局模型进行模型融合时的权重，所述第一样本占比向量包括所述K个子节点中每个子节点的本地数据集在所述K个子节点的所有本地数据集中的占比；

所述计算节点根据所述第一融合权重、所述m个第一局部模型和所述第一全局模型确定所述第二全局模型；

所述方法还包括：

所述计算节点根据所述第一融合权重和所述第一贡献向量确定第二贡献向量，所述第二贡献向量为所述K个子节点在所述第二全局模型中的贡献占比；

所述计算节点在第t+1轮迭代中向所述K个子节点中的部分或者全部子节点发送所述第二贡献向量。

4.根据权利要求1-3中任一项所述的方法，其特征在于，在所述计算节点在第t轮迭代中接收至少一个子节点发送的第二参数之前，所述方法还包括：

所述计算节点接收来自至少一个子节点的第一资源分配请求消息，所述第一资源分配请求消息包括所述第一版本号t'；

当所述计算节点接收的所述第一资源分配请求的个数小于或等于系统内资源的个数时，所述计算节点根据所述第一资源分配请求消息通知所述至少一个子节点在分配的资源上发送所述第二参数；或者

当所述计算节点接收的所述第一资源分配请求的个数大于系统内资源的个数时，所述计算节点根据所述至少一个子节点发送的所述第一资源分配请求消息和所述第一占比向量确定所述至少一个子节点中每一个子节点被分配资源的概率；

所述计算节点根据所述概率确定资源分配结果；

所述计算节点向所述至少一个子节点发送所述资源分配结果。