[发明专利]一种去中心化的终端节点网络模型训练方法及系统

说明书

本发明提出了一种去中心化的终端节点网络模型训练方法及系统，涉及数据隐私技术领域，各终端节点根据自身本地数据集对各自的本地网络模型进行训练；任一终端节点与其余终端节点进行通信，以获取其余终端节点的共享层参数；根据所述其余终端节点的共享层参数，所述任一终端节点更新自身的共享层参数，并广播自身更新后的共享层参数。本发明通过去中心化改进了传统联邦学习算法的拓扑结构，去除了传统联邦学习中的中心服务器，提高了整个系统的稳定性；进一步相较于传统的联邦学习，本发明提出的方法仅需传输各终端节点本地网络模型的共享层的参数，通信参数量得到了减少，可以有效提高整个系统的通信效率。

技术领域

本发明涉及数据隐私技术领域，特别是涉及一种去中心化的终端节点网络模型训练方法及系统。

背景技术

2016年Google公司的McMahan等人提出了联邦学习(Federated Learning，FL)算法，各个终端节点在各自的终端训练自身的模型，终端与中心服务器之间交互的是模型训练迭代过程中的梯度或者权重参数信息，无须将自身的原始数据发送给中心服务器，从而能够保证对数据隐私的保护。然而，现有的联邦学习算法绝大多数基于C-S框架，即包含一个中心服务器和多个终端节点的星形结构，若中心服务器遭受攻击或网络故障等问题，将会导致整个系统瘫痪。

发明内容

本发明的目的是提供一种去中心化的终端节点网络模型训练方法及系统，解决传统的联邦学习训练过程中，中心服务器遭受攻击或网络故障，将会导致整个系统瘫痪的问题，同时在保护终端节点原始数据隐私安全的前提下，还能够提高整个分布式机器学习系统的通信效率。

为实现上述目的，本发明提供了一种去中心化的终端节点网络模型训练方法，包括以下步骤：

各终端节点根据自身本地数据集对各自的本地网络模型进行训练；所述本地网络模型包括隐私层和共享层；

任一终端节点与其余终端节点进行通信，以获取所述其余终端节点的共享层参数；

所述任一终端节点根据所述其余终端节点的共享层参数，更新自身的共享层参数，并广播自身更新后的共享层参数。

可选地，所述各终端节点之间的网络拓扑结构为复杂网络结构。

可选地，所述各终端节点根据自身本地数据集对各自的本地网络模型进行训练，具体包括：

各终端节点根据自身本地数据集对各自的本地网络模型的共享层参数进行训练，所述各终端节点本地网络模型的隐私层参数相同。

可选地，所述任一终端节点与其余终端节点进行通信，以获取所述其余终端节点的共享层参数，所述任一终端节点根据所述其余终端节点的共享层参数，更新自身的共享层参数，并广播自身更新后的共享层参数，具体包括：

任一终端节点向其他终端节点发起通信请求；

获取响应终端节点集中各终端节点本地网络模型的共享层参数；所述响应终端节点集为在设定时间内响应了所述通信请求的若干个终端节点；

根据获取的若干个终端节点的共享层参数，更新所述任一终端节点本地网络模型的共享层参数；

将所述任一终端节点本地网络模型的共享层参数广播给各随机终端节点，并跳转至所述任一终端节点向其他终端节点发起通信请求的步骤，直至满足迭代停机条件时，停止跳转；所述随机终端节点包括响应终端节点集和从响应终端节点集以外的终端节点中随机确定的若干个终端节点。

可选地，所述根据获取的若干个终端节点的共享层参数，更新所述任一终端节点本地网络模型的共享层参数，具体包括：

根据获取的若干个终端节点的共享层参数，采用平均法或加权平均法更新所述任一终端节点本地网络模型的共享层参数。