[发明专利]一种基于联邦学习方式训练神经网络模型的方法及系统

说明书

本发明实施例公开了一种基于联邦学习方式训练神经网络模型的方法及系统，本发明实施例在训练神经网络模型时，云服务器选取广域网内已有的至少一个局域网，云服务器将当前神经网络模型发送给所述局域网，由所述局域网在局域网内对该神经网络模型进行多个本地参与设备的联邦学习，并聚合为所述局域网改进的神经网络模型后，提供给云服务器；云服务器将接收到的局域网改进的神经网络模型进行聚合后，得到全局改进的该神经网络模型。这样，本发明实施例就可以在减少跨广域网通信量的前提下，实现基于联邦学习方式训练神经网络模型，提高训练速度及节省成本。

技术领域

本发明涉及神经网络模型的训练技术，特别涉及一种基于联邦学习方式训练神经网络模型的方法及系统。

背景技术

随着人工智能的快速发展，快速地训练得到性能高的神经网络模型是发展方向。在这种情况下，出现了联邦学习方式训练神经网络模型，联邦学习方式又名联邦机器学习方式、联合学习方式或者联盟学习方式，该方式是一个机器学习框架，能有效帮助多个设备在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和神经网络模型的建模。

采用联邦学习方式进行神经网络模型的训练时，可以使用多设备协同学习共享的模型，同时将每个设备的训练数据保存在自身设备上，从而可以在保护用户隐私的基础上部署人工智能应用。如图1所示，图1为现有技术采用联邦学习方式训练神经网络模型的网络架构图。在整个训练该神经网络模型的过程中，首先，参与设备从云服务器下载当前最新的该神经网络模型，采用本地存储的训练数据对该模型进行训练，得到本地改进后的该模型；然后将本地改进后的该模型传输给云服务器，在传输时可以采用加密方式传输；最后，云服务器汇总从每个参与设备传输的本地改进后的该模型，采用联邦平均方式进行聚合，得到全局改进的该神经网络模型。上述过程可以循环多次进行，直到云服务器得到的全局改进的该神经网络模型收敛，从而将最后得到的全局改进的该神经网络模型作为训练完成该神经网络模型。

但是，申请人发现，上述采用联邦学习方式进行神经网络模型的训练方法中，在参与设备与云服务器之间下载当前最新的该神经网络模型及后续传输本地改进后的该模型，特别是当参与设备众多时，会频繁跨广域网通信，造成如下严重的问题：

第一，广域网的带宽严重受限且不稳定，就使得通信成为了实现上述训练方法的主要瓶颈，且也会严重减慢训练完成该神经网络模型的速度；

第二，广域网带宽资源的成本较高，且实现上述训练方法需要循环多轮，则需要多轮的广域网全局通信，导致基于广域网部署一个网络构架实现上述训练方法非常昂贵。

发明内容

有鉴于此，本发明实施例提供一种基于联邦学习方式训练神经网络模型的方法，该方法能够在减少跨广域网通信量的前提下，实现基于联邦学习方式训练神经网络模型，提高训练速度及节省成本。

本发明实施例还提供一种基于联邦学习方式训练神经网络模型的系统，该系统能够在减少跨广域网通信量的前提下，实现基于联邦学习方式训练神经网络模型，提高训练速度及节省成本。

本发明是这样实现的：

一种基于联邦学习方式训练神经网络模型的方法，所述方法包括：

a、在训练神经网络模型时，云服务器选取广域网内已有的至少一个局域网；

b、云服务器将当前全局改进的神经网络模型发送给所述局域网，以使所述局域网在局域网内对该神经网络模型进行多个本地参与设备的联邦学习，并聚合为局域网改进的神经网络模型后，传输给云服务器；

c、云服务器将接收到的局域网改进的神经网络模型进行聚合，得到全局改进的神经网络模型。

较佳地，所述云服务器选取广域网内已有的至少一个局域网包括：

云服务器维护关于广域网内已有的局域网所有元信息的数组，所述数组包括每个局域网中的设备信息、设备所属局域网信息及设备接入局域网的信息；