[发明专利]一种联邦学习方法及相关装置

说明书

一种联邦学习方法，应用于人工智能技术领域。在该方法中，在聚合节点获取到不同网络结构的模型时，将相同网络结构的模型划分至同一个组别中，并对相同组别的模型进行参数聚合，从而得到网络结构不同的多个聚合模型；并且，针对每个聚合模型，基于原始所获取到的多个模型对每个聚合模型进行知识蒸馏训练，实现不同网络结构模型之间的经验传递，从而整合各种网络结构的模型的知识经验，能够将参数聚合以及知识蒸馏在整合模型经验上的优势结合起来，实现不同网络结构的模型的聚合，并且保证聚合后所得到的模型的预测精度。

技术领域

本申请涉及人工智能(artificial intelligence，AI)技术领域，尤其涉及一种联邦学习方法及相关装置。

背景技术

随着用户对个人隐私数据的保护意愿日益提升，数据拥有者之间的用户数据无法互通，形成了大大小小的“数据孤岛”。“数据孤岛”对基于海量数据的人工智能(artificialintelligence，AI)提出了新的挑战，即在没有权限获得足够多的训练数据的情况下，如何对机器学习模型进行训练。

为应对“数据孤岛”所带来的挑战，联邦学习应运而生。联邦学习能够有效帮助各客户端在无需共享数据资源(即训练数据不出本地)的情况下，进行联合训练，建立共享的机器学习模型。在本地训练阶段，各客户端根据训练数据训练本地模型；在模型聚合阶段，各客户端上传本地模型到云服务器，云服务器聚合各个本地模型得到全局模型并下发；客户端在全局模型基础上利用训练数据进行更新得到新的本地模型，重复此过程直到全局模型收敛。

目前的联邦学习方法要求每个客户端所训练的模型均是相同结构的模型，这样中心节点才能够通过参数平均的方式来聚合多个客户端所上传的模型。然而，在一些情况下，不同的客户端上所训练的模型可能是不同结构的模型，因此现有的联邦学习方法无法应用于模型异构的场景，难以实现模型的聚合。

发明内容

本申请提供了一种联邦学习方法，能够实现不同网络结构的模型的聚合，并且保证聚合后所得到的模型的预测精度。

本申请第一方面提供一种联邦学习方法，应用于人工智能技术领域。该方法包括：聚合节点获取多个模型，该多个模型是从多个节点获取到的。并且，聚合节点所获取到的多个模型是用于执行相同的处理任务的，例如多个模型均是用于执行图像处理任务或自然语言处理任务。

然后，根据多个模型的网络结构，聚合节点将多个模型分为多个组别，其中多个组别中的每个组别包括至少一个模型，且同一个组别中的模型具有相同的网络结构；

其次，聚合节点对多个组别的每个组别中的模型进行参数聚合，得到多个聚合模型，其中同一个组别中的模型被聚合得到一个聚合模型，多个聚合模型对应于多个组别。具体来说，每个聚合模型的网络结构均与其对应的组别中的模型的网络结构相同，且每个聚合模型中的权重参数均可以是对同一组别中的一个或多个模型的权重参数进行加权求和得到的。

在得到多个聚合模型后，聚合节点以多个模型为教师模型，分别对多个聚合模型中的每个聚合模型执行知识蒸馏训练，得到多个训练后的模型。

最后，聚合节点向多个节点发送多个训练后的模型。

本方案中，在聚合节点获取到不同网络结构的模型时，将相同网络结构的模型划分至同一个组别中，并对相同组别的模型进行参数聚合，从而得到网络结构不同的多个聚合模型；并且，针对每个聚合模型，基于原始所获取到的多个模型对每个聚合模型进行知识蒸馏训练，实现不同网络结构模型之间的经验传递，从而整合各种网络结构的模型的知识经验，提高模型的预测精度。

通过对相同网络结构的模型进行参数聚合，并基于各种网络结构的模型对聚合模型进行知识蒸馏，能够将参数聚合以及知识蒸馏在整合模型经验上的优势结合起来，实现不同网络结构的模型的聚合，并且保证聚合后所得到的模型的预测精度。