[发明专利]一种面向大规模物联网协同智能的无线联邦学习方法

说明书

本发明公开了一种面向大规模物联网协同智能的无线联邦学习方法，针对大规模物联网场景下设备计算能力异构的问题，通过整合集中式学习和联邦学习来形成统一架构，使得计算能力较弱的设备得以参与全局模型训练。一方面，本发明通过集中式学习用户的数据重要性来确定数据样本选择策略，可以降低数据上传的通信开销和传输时间；另一方面，本发明通过对联邦学习用户的模型进行剪枝，可以在保证学习性能的前提下有效减少本地计算时间。应用本发明提供的联邦学习方法，可以实现不同类型用户的数据样本选择、模型剪枝和用户调度，有助于提高无线网络资源利用率并缓解物联网资源受限问题。

技术领域

本发明涉及联邦学习技术领域，尤其涉及一种面向大规模物联网协同智能的无线联邦学习方法。

背景技术

利用机器学习驱动的智能解决方案，未来无线网络的通信范式正在从物联网(Internet of Things，IoT)向互联智能转变。尽管大规模物联网设备的泛在连接有利于为各种智能物联网服务提供海量的实时数据，但如何在大规模物联网网络中实现协同智能仍然是一个开放的问题。

通过从海量物联网设备中收集数据样本，边缘平台可以利用其强大的计算资源进行集中式学习(Centralized Learning，CL)以训练高性能模型。然而，集中式学习框架在脆弱的无线边缘网络中存在高通信成本和隐私泄露的问题。

联邦学习(Federated Learning，FL)范式中的边缘设备不向边缘平台发送原始数据，转而在本地进行数据处理，只将模型参数(例如，权重或梯度)传输到边缘平台。然而，传统联邦学习框架需要所有边缘设备都具有足够的计算资源以支持本地模型训练，这与实际情况并不相符。在实际中，计算能力有限的设备所拥有的数据集很难参与到FL模型的训练过程中，这可能导致模型性能下降和资源利用率低下。

因此，本发明旨在开发一种面向大规模物联网协同智能的无线联邦学习框架，通过整合集中式学习和联邦学习范式，并同时考虑数据上传和梯度更新来综合利用集中式学习和联邦学习的优点，解决大规模物联网场景中数据异构和设备计算能力异构阻碍协作智能学习性能提升的问题。

发明内容

本发明的目的是提出一种面向大规模物联网协同智能的无线联邦学习方法，同时考虑数据上传和梯度更新，综合利用集中式学习和联邦学习的优点，使得计算受限的设备也可以参与全局模型训练过程，改善了整体网络的可扩展性。此外，通过加入网络剪枝、样本选择、用户选择等学习策略和调度策略，在保证学习性能的同时，可以降低计算成本，节约无线资源，更好地利用分布式数据和计算资源。

为了实现上述目的，本发明提供如下技术方案：

本发明提供一种面向大规模物联网协同智能的无线联邦学习方法，包括如下步骤：

S1：边缘平台请求所有设备报告其信息，信息包括数据量及数据分布、信道状态和计算资源；设备将所需信息报告给边缘平台；边缘平台根据接收到的信息生成学习策略，并将结果通知所有设备；所述的学习策略包括设备分类、样本选择、模型剪枝和设备调度；

S2：根据学习策略，在计算受限的集中式学习用户中，选择前N'个拥有最佳信道条件的用户，并使其基于样本重要性选择部分数据样本上传到边缘平台进行集中式训练；计算能力较强的联邦学习用户进行网络剪枝和本地训练后获取本地梯度并上传梯度范数，边缘平台依据梯度范数判断模型重要性，并选择前K'个拥有最佳模型的联邦学习用户，使其上传本地梯度；

S3：边缘平台聚合集中式学习梯度和联邦学习梯度以获得全局梯度，并使用全局梯度更新全局模型，随后将更新后的全局模型分发给所有设备以开启下一轮次的模型训练；

S4：重复上述步骤S1至步骤S3，直至全局模型收敛或达到最大通信轮次限制。

进一步地，步骤S1中，边缘平台根据本地设备不同的硬件性能，将整个异构用户集合划分为计算受限的集中式学习用户集合和计算能力较强的联邦学习用户集合