[发明专利]一种基于联邦强化学习的边缘计算模型训练方法

说明书

一种基于联邦强化学习的边缘计算模型训练方法，涉及无线通信和信息安全。1)检测信号覆盖范围内的移动设备数量，构建卷积神经网络，初始化参数；2)将各移动设备的参数组成状态向量输入卷积神经网络中，得选择的移动设备和训练数据量；3)将全局模型参数和选择的数据量发送给移动设备，接收移动设备的本地模型参数，更新全局模型参数；4)根据各移动设备的训练时间、目标识别精度和能量消耗作为奖励值，更新状态向量、存储向量；5)从内存中随机选取存储的向量更新卷积神经网络的权重参数；6)重复2)～5)至移动设备反馈的目标识别精度的平均值大于所需的目标识别精度。提高T秒内目标识别精度，减少训练时间和移动设备能量消耗。

技术领域

本发明属于无线通信和信息安全领域，具体是涉及一种基于联邦强化学习的边缘计算模型训练方法。

背景技术

联邦目标识别模型训练过程中，由于无线信道开放的特点，模型参数的传输容易受到环境噪声干扰和敌意干扰，导致移动设备无法及时获取全局网络参数进行本地训练，延长模型训练时间，降低目标识别精度。因此，为在较差通信环境下快速训练高精度的识别模型，需要选择合适的移动设备参与训练并引入低时延高精度的模型训练方法。

现有的联邦学习模型训练方案如论文[Cai Lingshuang et al.,Dynamic SampleSelection for Federated Learning with Heterogeneous Data in Fog Computing[C]//ICC 2020-2020 IEEE International Conference on Communications(ICC).IEEE,2020:1-6.]提出一种边缘计算目标识别模型训练方法，旨在解决移动设备训练数据分布不均匀的问题，利用梯度下降法动态选择移动设备的训练数据大小，在保证识别准确率的前提下，提高系统收敛速率并降低计算开销。论文[Nishio Takayuki et al.,Clientselection for federated learning with heterogeneous resources in mobile edge[C]//ICC 2019-2019 IEEE International Conference on Communications(ICC).IEEE,2019:1-7.]研究图像物体分类模型的训练方法，随机选择参与模型训练的用户，增加可用于更新模型的参数，提高物体分类的准确率。专利CN 111428881 A提出一种语音识别模型训练方法，利用遗传算法选择用于更新识别模型的目标算子，进一步提高语音识别准确率。论文[Li He et al.,Learning IoT in edge:Deep learning for the Internet ofThings with edge computing[J].IEEE network,2018,32(1):96-101.]中提出一种基于视频数据的物联网目标识别模型训练方法，利用离线算法选择每个边缘设备本地训练的网络结构，提高目标识别准确率并减小移动设备的计算开销。论文[Chen Mingzhe et al.,Ajoint learning and communications framework for federated learning overwireless networks[J].IEEE Transactions on Wireless Communications,2020,20(1):269-283.]提出一种蜂窝网络数字识别模型训练方法，基站利用Hungarian算法选择参与模型训练的用户，提高数字识别准确率。

上述模型训练方法仍然存在无法适应快速变化的移动设备信道状态，不同种类的移动设备训练目标识别模型算法和智能干扰等复杂的干扰环境等问题。

发明内容

本发明的目的在于针对动态环境下的训练策略优化问题，提供采用强化学习算法持续优化参与联邦目标识别模型训练的移动设备和训练数据量，以提高目标识别精度，减少模型训练时间和能量消耗的一种基于联邦强化学习的边缘计算模型训练方法。

本发明包括以下步骤：