[发明专利]联邦学习模型训练方法、设备、系统及存储介质

说明书

本发明公开了一种联邦学习模型训练方法、设备、系统及存储介质，该方法包括：向各参与设备发送携带联合模型参数和等待时长的模型更新请求消息；接收各参与设备根据本地数据和联合模型参数对待训练模型进行本地训练得到、并在确定有时间参与本次模型更新时发送的模型参数更新；对各模型参数更新进行处理得到最新的联合模型参数；统计各参与设备对本次模型更新的参与状态，根据统计结果得到下次模型更新的等待时长；在下次模型更新的模型更新请求消息中携带最新的联合模型参数和下次模型更新的等待时长，直到待训练模型处于收敛状态时将最新的联合模型参数作为待训练模型的最终参数。本发明实现了很好地兼顾联邦学习模型的训练时间和质量。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种联邦学习模型训练方法、设备、系统及存储介质。

背景技术

随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。

目前横向联邦学习的模型参数更新过程中，每个参与设备只使用自己本地拥有的数据来训练模型，并向协调设备发送模型参数更新，协调设备将所收到的来自不同参与设备的模型参数更新进行融合，并将融合后的模型参数更新再分发给各个参与设备，实现一次参数更新。但是由于各个参与设备不同的通信带宽和时延，以及拥有不同数据量和计算能力等原因，各个参与设备将模型参数更新发送给协调设备的时间不一致，若协调设备等待接收所有参与设备发送的模型参数更新，需要等待过长时间，显著增加联邦学习模型训练时间。

目前为避免协调设备一直等待，规定协调者等待接收至少N个参与者发送的模型参数更新，但是这种方式导致协调设备总是接收固定一部分参与设备发送的模型参数更新，而无法利用所有或者大部分参与设备的贡献来构建联邦学习模型，即无法很好地兼顾联邦学习模型的训练时间和模型质量。

发明内容

本发明的主要目的在于提供一种联邦学习模型训练方法、设备、系统及存储介质，旨在解决目前横向联邦学习模型训练过程中，无法很好地兼顾联邦学习模型的训练时间和模型质量的问题。

为实现上述目的，本发明提供一种联邦学习模型训练方法，所述联邦学习模型训练方法应用于协调设备，所述协调设备与多个参与设备通信连接，

所述联邦学习模型训练方法包括以下步骤：

向各所述参与设备发送模型更新请求消息，所述模型更新请求消息中携带本次联邦学习模型更新的联合模型参数和等待时长；

接收各所述参与设备发送的模型参数更新，其中，所述模型参数更新由各所述参与设备根据本地数据和所述联合模型参数对待训练模型进行本地训练得到，并且所述模型参数更新为各所述参与设备根据所述等待时长确定有时间参与本次模型更新时所发送；

对各所述模型参数更新进行融合处理得到最新的联合模型参数；

根据各所述模型参数更新统计各所述参与设备对本次模型更新的参与状态，根据统计结果调整所述等待时长得到下次模型更新的等待时长；

在下次模型更新的模型更新请求消息中携带所述最新的联合模型参数和所述下次模型更新的等待时长，直到检测到所述待训练模型处于收敛状态时，将所述最新的联合模型参数作为所述待训练模型的最终参数。

可选地，所述根据各所述模型参数更新统计各所述参与设备对本次模型更新的参与状态的步骤包括：

对各所述模型参数更新中的时间标记进行提取；

当提取到第一时间标记时，根据所述第一时间标记的数量，确定对本次模型更新的参与状态为有时间参与状态的所述参与设备的第一数量，其中，所述参与设备在发送本地训练得到的所述模型参数更新时携带所述第一时间标记。