[发明专利]一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质

说明书

本发明公开了一种边缘聚合间隔自适应控制的分层联邦学习方法，包括如下步骤：1)搭建以边缘设备，边缘服务器，云服务器为主要元素的分层联邦学习系统；2)在每个训练周期的起始阶段，云服务器根据当前的训练情况，优化边缘聚合间隔以及当前周期的训练时延预算；3)在训练过程中，边缘设备训练本地模型；并且根据边缘聚合间隔将本地模型发送到边缘服务器进行边缘聚合从而生成边缘模型；在每个周期的结束阶段，边缘服务器将边缘模型上传到云服务器进行全局聚合从而生成全局模型。该发明能够自适应地调整边缘聚合的间隔，在学习性能和训练时延中取得平衡。

技术领域

本发明涉及机器学习和移动通信技术领域，特别是一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质。

背景技术

随着人工智能技术的广泛应用，为更好的保护用户隐私，联邦学习的概念被提出。在联邦学习系统中，设备不直接将本地数据上传到云服务器，而是先进行本地计算，将训练之后的神经网络模型上传到云服务器进行全局聚合。云服务器会将生成的全局模型反馈给设备，从而进行下一个周期的训练。然而，由于云服务器与设备距离较远，并且无线资源有限，直接和云服务器通信可靠性较低，并且会产生较大的传输时延。为解决该问题，分层的联邦学习框架被提出，其中具体做法为训练过程中，边缘设备训练本地模型；并且根据边缘聚合间隔将本地模型发送到边缘服务器进行边缘聚合；然后边缘服务器将更新之后的边缘模型发送给关联的边缘设备从而继续进行本地训练；在每个周期的结束阶段，边缘设备通过边缘服务器将边缘模型上传到云服务器进行全局聚合；最后云服务器将全局模型广播给所有边缘设备从而进行下一轮的训练。分层联邦学习能够提高本地模型传输的可靠性，并且能采集更多的本地模型，提高学习性能。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供的一种边缘聚合间隔自适应控制的分层联邦学习方法，其目标最小化训练损失和训练时延的加权和。

本发明为解决上述技术问题采用以下技术方案：本发明提出一种边缘聚合间隔自适应控制的分层联邦学习方法，通过部署边缘服务器协助联邦学习训练；云服务器根据当前的训练情况，优化边缘聚合间隔以及当前周期的训练时延预算；根据优化之后的边缘聚合间隔以及训练时延预算，边缘设备，边缘服务器，云服务器协作地完成联邦学学习训练，具体步骤如下：

步骤1，搭建以边缘设备，边缘服务器，云服务器为元素的分层联邦学习系统；该系统部署在无线环境中；其中包含多个边缘设备，多个边缘服务器，以及一个云服务器；边缘设备集合定义为K＝{1,2,...k,...,K}，边缘服务器集合定义为S＝{1,2,...s,...,S}；边缘设备k本地的数据集为其中，i是样本的索引，x_k,i是第i个输入样本，y_k,i是该样本的标签，D_k设训练样本的数目，这些数据可以来自任意的学习任务；由于边缘服务器覆盖范围有限，每个边缘服务器只关联一部分的边缘设备，定义被边缘服务器s服务的设备集合为V_s；边缘设备，边缘服务器，云服务器协助地完成联邦学习训练，目标为训练出模型w使得全局损失最小:

其中，是全局损失函数值，是总样本，l(w,x_k,i,y_k,i)是边缘设备k在给定模型w情况下在训练数据{x_k,i,y_k,i}上的损函数失值，l是任意损失函数；