[发明专利]联盟学习方法、联盟学习装置及联盟学习系统

说明书

本说明书的实施例提供联盟学习方法、联盟学习装置及联盟学习系统。联盟学习系统包括第一成员节点以及至少一个第二成员节点分组。第一成员节点具有全局模型，每个第二成员节点分组具有头节点，并且每个第二成员节点分组的第二成员节点具有本地数据。第一成员节点将当前待学习的全局模型提供给各个第二成员节点分组中的头节点。各个第二成员节点分组的各个第二成员节点使用各自的本地数据对全局模型执行联盟学习来得到经由该第二成员节点分组训练出的第一全局模型，并经由该第二成员节点分组的头节点将所训练出的第一全局模型提供给第一成员节点。第一成员节点对所获取的第一全局模型执行模型整合，得到经过联盟学习后的目标全局模型。

技术领域

本说明书实施例通常涉及人工智能领域，尤其涉及联盟学习方法、联盟学习装置以及联盟学习系统。

背景技术

随着人工智能技术的发展，业务模型已经逐渐应用于各种业务应用场景，比如，风险评估、语音识别、自然语言处理等。为了解决模型训练时的数据孤岛问题，提出了联盟学习（Federated Learning）。利用联盟学习，各个数据拥有方可以从模型拥有方获取全局模型，在本地使用本地数据来对全局模型进行模型训练，并将所训练出的全局模型提供给模型拥有方来进行模型整合，从而使得本地数据不会外泄，由此确保数据拥有方的数据隐私安全。

发明内容

鉴于上述，本说明书的实施例提供联盟学习方法、联盟学习装置及联盟学习系统。在该联盟学习系统中，第一成员节点具有全局模型，第二成员节点具有训练所需数据，并且第二成员节点被分组为至少一个第二成员节点分组，每个第二成员节点分组具有头节点。在进行模型训练时，第一成员节点将全局模型提供给各个第二成员节点分组的头节点，并由头节点分发给对应第二成员节点分组的其余第二成员节点。各个第二成员节点分组的头节点和其余第二成员节点使用各自的本地数据来联合训练全局模型，得到经由该第二成员节点分组训练出的第一全局模型。所训练出的第一全局模型经由对应的头节点提供给第一成员节点，并在第一成员节点处进行模型整合，由此得到经过联盟学习后的全局模型。按照这种联盟学习方法，可以大大减少联盟学习系统中的第一成员节点与第二成员节点之间的通信量，由此降低联盟学习系统的能量消耗。

根据本说明书的实施例的一个方面，提供一种用于联盟学习系统的联盟学习方法，所述联盟学习系统包括第一成员节点以及至少一个第二成员节点分组，所述第一成员节点具有全局模型，每个第二成员节点分组具有头节点，并且每个第二成员节点分组的第二成员节点具有本地数据，所述方法包括：在所述第一成员节点处，将当前待学习的全局模型提供给各个第二成员节点分组的头节点；在各个第二成员节点分组处，经由该第二成员节点分组的各个第二成员节点使用各自的本地数据对所述全局模型执行联盟学习来得到经由该第二成员节点分组训练出的第一全局模型，并经由该第二成员节点分组的头节点将所训练出的第一全局模型提供给所述第一成员节点；以及在所述第一成员节点处，对各个第二成员节点分组的第一全局模型执行模型整合，得到经过联盟学习后的目标全局模型。

可选地，在上述方面的一个示例中，所述至少一个第二成员节点分组可以是基于下述成员节点属性信息中的至少一种来对所述联盟学习系统的第二成员节点进行成员节点分组而得到：成员节点位置信息；成员节点设备制造商信息；成员节点可支持通信网络信息；和成员节点特定网络连接信息。

可选地，在上述方面的一个示例中，所述成员节点分组可以在所有第二成员节点处共同执行，在所述第一成员节点处执行，或者在第三成员节点处执行。

可选地，在上述方面的一个示例中，所述至少一个第二成员节点分组的头节点可以基于下述成员节点属性信息中的至少一种来确定：成员节点计算能力；和成员节点网络传输速度。

可选地，在上述方面的一个示例中，各个第二成员节点分组的头节点确定过程可以在该第二成员节点分组的所有第二成员节点处共同执行，在所述第一成员节点处执行，或者在第三成员节点处执行。