[发明专利]一种基于联邦学习的工业物联网隐私保护系统及方法

说明书

本发明属于机器学习技术领域与分布式系统技术领域，提供了基于联邦学习的工业物联网隐私保护系统及方法。其中该系统包括服务器节点和若干相互通信的客户端节点；服务器节点内预存有初始全局模型，用于根据不同客户端节点上传的自身拥有的数据类别，将工业物联网参与训练的客户端节点划分成不同的组；基于数据类别感知的客户端选择算法，在每一轮通信中向选择不同组的客户端节点下发联邦学习的全局模型；客户端节点用于在本地利用自身数据对接收到的全局模型进行训练，并将训练完成的本地模型上传至服务器节点；服务器节点还用于使用加权平均的策略对若干个本地模型进行聚合并形成新的全局模型，直至达到设定要求，结束迭代。

技术领域

本发明属于机器学习技术领域与分布式系统技术领域，尤其涉及一种基于联邦学习的工业物联网隐私保护系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

数据作为工业物联网(Industrial Internet of Things，IIoT)发展的重要资源，其重要价值进一步凸显，但也由此引发了一系列对于数据安全和隐私保护的担忧，数据安全问题已然成为工业物联网全面发展的重要制约瓶颈和亟需突破的关键挑战。在工业物联网时代，如何在保障数据安全和用户隐私的前提下，促进多源数据的碰撞、融合和挖掘，最大限度地释放数据价值，成为当前学术界和工业界面临的最大挑战之一。

为了满足新发展趋势下对工业物联网发展的要求，研究人员早期利用分布式计算，试图通过整合不同来源的数据进行分布式的建模，从而解决数据保护问题。但重量级的分布式系统框架通常会产生巨大的沟通成本，影响数据的传输和处理效率。联邦学习(Federated Learning，FL)给上述难题提供了解决方案。联邦学习是一种关注数据保护的机器学习技术，指在不交换数据样本的情况下，训练算法跨越多个分散的边缘设备或服务器，从而基于分布式的数据训练出全局模型。不同于传统的集中式机器学习技术，不需要把分布式客户端的本地数据集中上传到一台服务器上，可以有效地保护用户隐私。

然而，由于工业物联网环境下互联的终端设备种类丰富，其上的数据标签和数量等属性差异非常大，是非独立同分布的(Non-independent and identicallydistributed)，导致不同终端设备在参与联邦学习训练本地模型时，模型参数存在很大差别，而传统的全局模型更新算法可能会忽略与分类相关的重要信息，导致联邦学习得到高精度的全局模型非常耗时，如何提高联邦学习全局模型更新的效率，加快全局模型的收敛速度，对于提升系统整体效率具有重要意义。

目前的联邦学习中，服务器对于联邦学习中各终端设备的发送的本地模型主要通过两种方案进行聚合以更新全局模型。比如，联邦学习服务器采用绝对平均的策略对于收到的模型进行聚合，即对所有模型每个相同位置的参数使用加权因子进行加权(S^(t)是第t轮中，服务器收到的模型集合，|·|表示集合的数目)，或者联邦学习服务器采用加权平均的策略对于收到的模型进行聚合，即对所有模型每个相同位置的参数使用加权因子进行加权(m_i表示索引为i的客户端所拥有的训练数据的数量，n表示参与本次模型聚合的客户端总数)。

然而，联邦学习服务器采用以上两种方法对模型进行聚合，缺乏优化考虑，换言之，联邦学习服务器通过绝对平均或者加权平均的方案没有考虑各终端设备数据分布的特性，导致学习匹配特定特征的能力下降，因此，存在全局模型更新效率低下的问题，从而导致系统在模型训练上耗费大量时间，降低了联邦学习中各终端设备上的模型在联邦模型下的表达。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于联邦学习的工业物联网隐私保护系统及方法，其通过对终端设备进行分组，组内模型进行聚合，组间模型进行传递，以使系统更快收敛，在终端设备中数据量和数据类别极不平衡的情况下，高效实现全局模型的更新。

为了实现上述目的，本发明采用如下技术方案：