[发明专利]联邦学习方法、装置及联邦学习系统

说明书

本说明书的实施例提供一种联邦学习方法、装置及联邦学习系统。联邦学习系统包括至少两个第一成员设备和第二成员设备，第一成员设备具有用于全局模型训练的本地数据。在各个第一成员设备处，使用本地数据训练全局模型得到各个模型参数的本地参数更新量；从全局模型的模型参数中选择适合于本地训练的部分模型参数；并将所选择的模型参数的本地参数更新量发送给第二成员设备。在第二成员设备处，使用从各个第一成员设备接收的本地参数更新量重构全局模型的各个模型参数的参数更新量；基于所述重构的各个模型参数的参数更新量进行全局模型更新；以及将更新后的全局模型作为下一模型训练过程的全局模型发送给各个第一成员设备。

技术领域

本说明书实施例通常涉及联邦学习领域，尤其涉及联邦学习方法、装置及联邦学习系统。

背景技术

联邦学习(Federated Learning)是一种新兴的人工智能基础技术，其旨在没有中心训练数据的情况下，联合多个数据终端进行机器学习训练。在联邦学习时，多个数据终端在保证训练数据在终端的同时，协作训练出共享的全局模型。

发明内容

本说明书实施例提供一种联邦学习方法及装置。利用该联邦学习方法及装置，通过各个第一成员设备使用本地数据训练全局模型得到各个模型参数的本地参数更新量，从全局模型的模型参数中选择适合于本地训练的部分模型参数并将所选择的部分模型参数的本地参数更新量发送给第二成员设备，由第二成员设备使用所接收的本地参数更新量来重构全局模型的各个模型参数的参数更新量来进行全局模型更新，从而可以在确保全局模型的模型训练性能不受较大影响的情况下降低第一成员设备和第二成员设备之间的通信代价。

根据本说明书实施例的一个方面，提供一种联邦学习方法，所述联邦学习方法由联邦学习系统执行，所述联邦学习系统包括至少两个第一成员设备和第二成员设备，第一成员设备具有用于全局模型训练的本地数据，所述联邦学习方法包括：在各个第一成员设备处，使用本地数据训练全局模型得到各个模型参数的本地参数更新量；从全局模型的模型参数中选择适合于本地训练的部分模型参数；将所选择的模型参数的本地参数更新量发送给第二成员设备，在第二成员设备处，使用从各个第一成员设备接收的本地参数更新量重构全局模型的各个模型参数的参数更新量；基于所述重构的各个模型参数的参数更新量进行全局模型更新；以及将更新后的全局模型作为下一模型训练过程的全局模型发送给各个第一成员设备。

可选地，在上述方面的一个示例中，从全局模型的模型参数中选择适合于本地训练的部分模型参数可以包括：基于本地数据的数据特性，从全局模型的模型参数中选择适合于本地训练的部分模型参数。

可选地，在上述方面的一个示例中，将所选择的模型参数的本地参数更新量发送给第二成员设备可以包括：将所选择的模型参数的本地参数更新量以隐私保护方式发送给第二成员设备。

可选地，在上述方面的一个示例中，所述第二成员设备包括第一数目个第二成员设备。将所选择的模型参数的本地参数更新量以隐私保护方式发送给第二成员设备可以包括：将各个所选择模型参数的本地参数更新量分片为第一数目个参数更新量分片；以及将各个所选择模型参数的参数更新量分片中的一个参数更新量分片发送给所述第二成员设备中的一个第二成员设备，其中，各个第二成员设备使用所接收的参数更新量分片协同重构全局模型的各个模型参数的参数更新量。