[发明专利]一种基于雾计算的联邦学习方法

说明书

本发明涉及一种基于雾计算的联邦学习方法，属于移动通信技术领域。位于云端的运营商作为联邦学习任务的发布者，位于边缘的雾节点作为区块链共识节点为联邦学习提供安全的协调服务，同时物联网设备如智能手机和平板电脑作为联邦学习的客户端，通过区块链提供的安全验证服务和给出的分簇联邦学习方法，提出的联邦学习刚刚可以有效地提高联邦学习效率和稳定性。为解决联邦学习存在的单点故障问题和模型恶意攻击问题，提出了基于区块链的客户端协作学习方式，并且为减少引入区块链技术所产生的额外时延，雾节点所维护的区块链共识方式为PBFT，将区块链网络划分为多个子网，每个子网内基于不同的联邦学习任务进行共识验证以减少共识时延。

技术领域

本发明属于移动通信技术领域，涉及一种基于雾计算的联邦学习方法。

背景技术

目前，机器学习中的隐私保护问题尤为重要，用户产生的私人数据不应暴露或上传到中央服务器。谷歌在2016年提出了Vanilla Federation Learning(FL)来解决保护隐私的协作训练问题。FL是一个去中心化的框架，利用分布在远程设备上的训练数据协作学习模型，以提高通信效率。基本上，它通过聚合FL参与设备的模型更新(基于分布在参与设备上的训练数据通过本地计算得到的的模型更新)来学习一个共享的预训练模型。VanillaFL中使用的聚合算法负责对许多本地模型的参数进行平均化。

由于这一隐私特征，FL近年来一直吸引着研究人员的注意。为了结合下一代物联网架构即雾计算网络和FL的分布式特性，McMahan等人在2017年提出了一种新的FL范式，其中参与FL的物联网设备(称为客户端)在协调雾服务器的帮助下，在本地协同训练一个单一的机器学习模型，而不必分享他们的原始数据。此外，S.Niknam等人还研究了FL在新兴5G技术中的作用，证明了FL如何有效解决与5G相关的关键挑战。然而，在FL中，由于数据源和计算节点是具有不同所有者和网络情况的个人设备所导致的数据异质性，也被称为Non-IID数据，一个通用的全局模型往往不能适应所有用户生成的数据分布，这与FL的隐含假设不一致，导致全局模型的表达能力不足。此外，随着恶意攻击的增加，FL的安全性也在下降。

为了解决上述问题，在本发明中设计了一种聚类机制来提高学习效率，并将区块链技术与雾计算网络相结合，提出了安全分簇联邦学习(Secure Cluster-based FL,SCFL)方案，该方案使用层次聚类法自适应地生成模型更新簇并基于簇得到具体的多个全局模型以适配不同类型的客户端，区块链交叉验证本地模型更新并存储可追溯的全局模型以解决FL的单点故障问题、恶意模型攻击问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于雾计算的联邦学习方法。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供了一种分簇联邦学习的方法，用于解决传统联邦学习方案的效率问题，所述方法应用于雾服务器(负责全局聚合)包括：

接收参与FL的ID所上传的模型梯度，并基于模型梯度的cosine相似度进行分层聚类，划分多个模型梯度簇并创建对应的ID索引列表；

其中，所诉分层聚类采用的是迭代二分法，该方法可以不断二分物联网设备群并最终生成一个可回溯的二叉树。所诉ID索引列表采用字典格式如ison进行存储，键为簇头，值为ID索引，一个键对应了多个值。

基于分簇结果对模型梯度采用聚合算法(如模型平均)生成多个指向不同ID簇的全局模型，并通过多址接入根据所诉ID索引列表向目标ID发送全局模型；

其中，所诉全局模型发送方式基于支持Topic的消息队列如Kafka和RabbitMQ，在上诉划分ID簇后服务器端会基于簇头在消息队列中创建Topic，并按照生成的ID索引列表通知ID在对应Topic进行消息消费。此时服务器可以将生成的全局模型放入对应Topic继而异步地进行其他计算任务。