[发明专利]一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质

权利要求书

1.一种边缘聚合间隔自适应控制的分层联邦学习方法，其特征在于，通过部署边缘服务器协助联邦学习训练；云服务器根据当前的训练情况，优化边缘聚合间隔以及当前周期的训练时延预算；根据优化之后的边缘聚合间隔以及训练时延预算，边缘设备，边缘服务器，云服务器协作地完成联邦学学习训练，具体步骤如下：

步骤1，搭建以边缘设备，边缘服务器，云服务器为元素的分层联邦学习系统；该系统部署在无线环境中；其中包含多个边缘设备，多个边缘服务器，以及一个云服务器；边缘设备集合定义为K＝{1,2,...k,...,K}，边缘服务器集合定义为S＝{1,2,...s,...,S}；边缘设备k本地的数据集为其中，i是样本的索引，x_k,i是第i个输入样本，y_k,i是该样本的标签，D_k设训练样本的数目；由于边缘服务器覆盖范围有限，每个边缘服务器只关联一部分的边缘设备，定义被边缘服务器s服务的设备集合为V_s；边缘设备，边缘服务器，云服务器协助地完成联邦学习训练，目标为训练出模型w使得全局损失最小:

其中，是全局损失函数值，是总样本，l(w,x_k,i,y_k,i)是边缘设备k在给定模型w情况下在训练数据{x_k,i,y_k,i}上的损函数失值，l是任意损失函数；

步骤2，联邦学习的训练过程是一个迭代过程，需要多个训练周期，并且在每一个周期边缘设备要进行多次本地训练，边缘设备利用自己的本地数据训练本地模型，多次边缘聚合，边缘聚合就边缘服务器对采集到的本地模型进行加权平均，边缘设备将更新之后的本地模型上传到与其相关联的边缘服务器，边缘服务器对收集的边缘模型进行加权平均运算生成新的边缘模型，以及一次全局聚合，边缘服务器将更新之后的边缘模型上传到云服务器，云服务器对收集的边缘模型进行加权平均运算生成新的全局模型，训练周期的集合定义R＝{1,2,..,r,...,R}，其中，R为总的训练周期数，在训练周期r的开始阶段，云服务器根据当前训练情况优化边缘聚合间隔I^(r),该变量定义为训练周期r中边缘设备在两次边缘聚合之间本地训练的次数；此外云服务器优化当前周期的训练时延预算τ^(r)，该变量为训练周期r消耗的时间；当前周期边缘设备最多需要进行G次本地训练，其中在训练周期r，边缘设备需要将本地模型上传给边缘服务器次，则训练周期r内实际的本地训练次数为：

由于当前周期的训练时延预算已经给定，训练周期r内两次边缘聚合之间的训练时延预算为并且有些边缘设备无法在两次边缘聚合之间完成本地训练和模型上传，用变量来表示边缘设备k可以在两次边缘聚合之间的时间内完成本地训练和模型上传，反之来表示边缘设备k无法在两次边缘聚合之间的时间内完成本地训练和模型上传，其中，1≤t^r≤G是边缘设备k在训练周期r进行本地训练的次数的索引；

步骤3，具体训练过程如下：

在训练周期r，边缘设备k基于自己的本地数据训练本地模型；更新过程为：

其中，是在训练周期r内第t^r次本地训练后的本地模型，γ是学习率，是边缘设备k在本地模型上基于本地数据训练出的梯度，该更新过程所用的优化器为随机梯度下降；经过I^(r)次本地训练后，边缘设备将更新之后的本地模型发送给与其相关联的边缘服务器进行边缘聚合从而生成边缘模型，边缘服务器s的边缘聚合的过程为：

其中，是在训练周期r内第t^r次本地训练后边缘聚合更新的边缘模型，用于表示边缘设备k能否在两次边缘聚合之间完成本地训练和模型上传，V_s是与边缘服务器s相关联的边缘设备集合，在进行边缘聚合之后，边缘服务器会根据边缘设备本地训练的次数来决定是否进行全局聚合，具体来说，如果本周期内边缘设备本地训练的次数没有达到G^(r)次，边缘服务器会将更新之后的边缘模型发送给与其相关联的边缘设备，用于替换边缘设备的本地模型，从而继续本地训练；如果本地训练的次数已经达到G^(r)次，边缘服务器会将更新之后的边缘模型上传到云服务器进行全局聚合从而生成全局模型，全局聚合的过程为：

其中，是在训练周期r内第t^r次本地训练后通过全局聚合更新的全局模型，用于表示边缘设备k能否在两次边缘聚合之间完成本地训练和模型上传，V_s是与边缘服务器s相关联的边缘设备集合，该全局模型被发送给所有的边缘设备用于替换边缘设备的本地模型，并且用于下一个周期的训练。