[发明专利]一种联邦学习方法及相关装置

权利要求书

1.一种联邦学习方法，其特征在于，包括：

获取多个模型，所述多个模型是从多个节点获取到的；

根据所述多个模型的网络结构，将所述多个模型分为多个组别，其中所述多个组别中的每个组别包括至少一个模型，且同一个组别中的模型具有相同的网络结构；

对所述多个组别的每个组别中的模型进行参数聚合，得到多个聚合模型，其中同一个组别中的模型被聚合得到一个聚合模型，所述多个聚合模型对应于所述多个组别；

以所述多个模型为教师模型，分别对所述多个聚合模型中的每个聚合模型执行知识蒸馏训练，得到多个训练后的模型；

向所述多个节点发送所述多个训练后的模型。

2.根据权利要求1所述的方法，其特征在于，所述以所述多个模型为教师模型，分别对所述多个聚合模型中的每个聚合模型执行知识蒸馏训练，得到多个训练后的模型，包括：

将训练样本分别输入第一聚合模型以及所述多个模型，得到目标预测结果和多个预测结果，其中所述第一聚合模型为所述多个聚合模型中的任意一个模型，所述目标预测结果对应于所述第一聚合模型，所述多个预测结果对应于所述多个模型；

基于损失函数训练所述第一聚合模型，得到训练后的第一聚合模型，所述损失函数是基于所述目标预测结果与所述多个预测结果之间的差异得到的。

3.根据权利要求2所述的方法，其特征在于，所述损失函数是基于所述目标预测结果与所述多个预测结果中每个预测结果之间的差异得到的；

或者，所述损失函数是基于所述目标预测结果与所述多个预测结果的加权平均值之间的差异得到的。

4.根据权利要求2或3所述的方法，其特征在于，所述损失函数包括第一子损失函数和第二子损失函数，所述第一子损失函数是基于所述目标预测结果与所述多个预测结果之间的差异得到的，所述第二子损失函数是基于所述训练样本的真实标签与所述目标预测结果之间的差异得到的。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述方法还包括：

基于训练数据，在所述多个训练后的模型中确定目标模型；

以所述多个训练后的模型为教师模型，对所述目标模型执行知识蒸馏训练，得到更新后的目标模型，所述更新后的目标模型用于执行基于本地数据的推理任务。

6.根据权利要求5所述的方法，其特征在于，所述基于训练数据，在所述多个训练后的模型中确定目标模型，包括：

将所述训练数据分别输入多个模型中的每个模型，并基于所述每个模型输出的预测结果确定所述每个模型的预测精度；

基于所述每个模型的预测精度确定所述目标模型，所述目标模型包括所述多个训练后的模型中预测精度最高的一个或多个模型。

7.根据权利要求5所述的方法，其特征在于，所述基于训练数据，在所述多个训练后的模型中确定目标模型，包括：

将所述训练数据输入门网络，得到所述门网络输出的多个权重值，所述多个权重值与所述多个训练后的模型一一对应，所述多个权重值分别用于表示所述多个训练后的模型的输出结果在加权求和过程中的权重，所述门网络为预先训练得到的网络；

根据所述多个权重值确定所述目标模型，所述目标模型包括所述多个训练后的模型中对应权重值最高的一个或多个模型。

8.根据权利要求1-7任意一项所述的方法，其特征在于，所述向所述多个节点发送所述多个训练后的模型，包括：

根据目标数据，在所述多个训练后的模型中确定部分训练后的模型，所述目标数据为从第一节点获取到的数据，所述部分训练后的模型是所述多个训练后的模型中在处理所述目标数据时具有最优性能的模型；

向所述第一节点发送所述部分训练后的模型。