[发明专利]一种对抗通信噪声的联邦学习方法和系统

说明书

本发明公开了一种对抗通信噪声的联邦学习方法和系统，方法包括：各个计算节点分别通过无线信道传输对应的本地训练模型；中心节点将各个通过无线信道传输后的本地训练模型进行加权平均运算后，得到全局训练模型，并将全局训练模型通过无线信道广播至各个计算节点；各个计算节点基于接收到的模型和损失函数进行梯度下降计算，直至收敛。本发明能够通过对损失函数的设计，以表达噪声对模型参数的影响，再利用梯度下降算法在本地训练，在中心端完成加权平均以实现联邦学习，从而求解出最优模型，并提高模型估计的准确度和降低模型训练的损失函数值。

技术领域

本发明涉及分布式联邦学习技术领域，尤其涉及一种对抗通信噪声的联邦学习方法和系统。

背景技术

联邦学习(Federated Learning)是一种运用在人工智能(ArtificialIntelligence)中的网络模型训练技术。由于终端设备收集数据量的与日俱增，过去将所有数据传输至中心端并在中心端学习的方法将给网络负载带来巨大的负担和个体数据计算的延迟。再加上对个体数据隐私的考虑，如何将这种中心端的学习过程交由个体自己完成成为未来研究的重要问题。因此，联邦学习运营而生，其旨在保障数据交换时的信息安全、保护终端数据和个人数据隐私的前提下，在多计算结点之间开展高效率的机器学习。联邦学习的主要思想是在边缘计算设备的本地训练与在中央服务器更新本地模型的加权平均值的两个步骤间迭代更新以获取最优的全局训练模型。联邦学习的主要优势就是不需要原数据的上传，让训练学习的过程在本地完成，以此降低网络传输的负载以及保障个体数据的隐私。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。

通信噪声(Communication Noise)是通信中的一种对信号的干扰。噪声的产生来源主要有信道的不完美估计、反馈量化的误差以及信号采集的延迟等。在无线通信过程中，噪声是不可避免的，如何降低噪声对系统的干扰影响是无线通信研究的重要问题。

目前，随着5G的兴起与物联网的高速发展，联邦学习以其低数据传输量、隐私保护性好的优点得到广泛的应用。而由于其在迭代更新过程中引入的通信噪声，使得其迭代次数增长，模型估计的准确度下降。因此，如何解决噪声带来的影响显得尤为重要。

发明内容

有鉴于此，本发明提供了一种对抗通信噪声的联邦学习方法，能够通过对损失函数的设计，以表达噪声对模型参数的影响，再利用梯度下降算法在本地训练，在中心端完成加权平均以实现联邦学习，从而求解出最优模型，并提高模型估计的准确度和降低模型训练的损失函数值。

本发明提供了一种对抗通信噪声的联邦学习方法，包括：

各个计算节点分别通过无线信道传输对应的本地训练模型；

中心节点将各个通过无线信道传输后的本地训练模型进行加权平均运算后，得到全局训练模型，并将所述全局训练模型通过无线信道广播至各个计算节点；

各个计算节点基于接收到的模型和损失函数进行梯度下降计算，直至收敛。

优选地，所述各个计算节点分别通过无线信道传输对应的本地训练模型，包括：

N个计算节点分别通过无线信道传输本地训练模型w₁,w₂,...,w_N。

优选地，所述中心节点将各个通过无线信道传输后的本地训练模型进行加权平均运算后，得到全局训练模型，包括：

对于第t次传输过程，所述中心节点基于公式得到全局训练模型，其中，Δw^t是本次无线信道传输带来的噪声，其满足||Δw||²≤σ²，σ²为常数。

优选地，对于第t次传输过程，第j个节点接收的模型为：

其中，是本次无线信道传输带来的噪声，其满足为常数。