[发明专利]一种分布式联邦学习协同计算方法及系统

说明书

本申请公开了一种分布式联邦学习协同计算方法及系统，其中分布式联邦学习协同计算方法具体包括以下步骤：进行深度强化学习模型训练；响应于将训练好的深度强化学习模型分别部署至各边缘服务器，进行联邦学习；联邦学习结束。本申请针对分布式联邦学习框架，打破了传统联邦学习对中心服务器的依赖，有效保证了联邦学习过程的隐私保护和安全性。

技术领域

本申请涉及通信领域，尤其涉及一种分布式联邦学习协同计算方法及系统。

背景技术

金属材料工件是机械加工过程中一些产品的重要组成部分，金属材料工件质量的优劣直接影响着企业产品的市场竞争力，因此对机械加工过程中的金属材料工件表面缺陷进行检测就显得非常重要。对于金属表面的缺陷检测，可以利用深度学习技术，从生产线上采集工件图像，再从图像中提取缺陷信息，通过学习金属工件表面缺陷特征，建立金属材料工件缺陷的网络检测与缺陷识别模型。常用的检测模型包括Fast R-CNN、Faster R-CNN、Mask R-CNN等。然而，在工业园区内，部分工厂存在数据规模有限、数据质量良莠不齐的问题。另外，由于行业竞争、隐私保护等问题，造成了数据难以在不同的企业之间共享、整合，导致这些工厂难以训练出高质量的检测模型。

联邦学习(Federated Learning,FL)是为应对人工智能实际应用时面对的数据隐私保护问题而诞生的一种人工智能学习框架。其核心目标是使各个参与方在无需直接交换数据的前提下，实现多个参与方之间的协同学习，建立共享的、全局有效的人工智能模型。在联邦学习框架下，参与方先在本地训练本地模型，再将本地模型的参数加密后上传至中心服务器，服务器对各个本地模型进行安全聚合后将更新后的全局模型参数发送给各个参与方，这一迭代过程一直重复至全局模型达到目标精度。在此过程中，参与方上传和下载的均是模型的参数，数据始终留在本地，可以很好地保护客户的数据隐私。

此外，联邦学习框架仍存在一些安全问题。模型聚合的集中式管理器可能容易受到各种威胁(例如，单点故障和DDoS攻击)，其故障(例如，扭曲所有本地模型更新)可能导致整个学习过程失败。尽管联邦学习很好地解决了各参与方数据量不足、隐私泄露等问题，分布式的联邦学习框架也能很好地解决联邦学习过程中的安全问题，但是目前的学术界很少关注分布式联邦学习的时延问题。考虑到不同的参与方在同一轮次的训练速度存在差异，先完成计算的参与方会进入消极等待时间，造成资源的浪费。同时，参与方与边缘服务器之间的网络连接是不稳定的，网络质量会因环境因素而不断变化，上传模型所需要的时间具有较大的不确定性，很可能延长模型聚合所需的时间。

因此，如何在减少每一轮联邦学习所需的时间的同时，提升每一轮全局模型的精度，降低全局模型达到目标精度的总时延，是个等待解决的问题。

发明内容

基于此，本申请提供一种用于智能工厂的分布式联邦学习协同计算方法，保证了联邦学习过程的安全性，并利用深度强化学习(deep reinforcement learning，DRL)技术解决了边缘服务器与参与方之间的关联及带宽资源分配问题以及参与方的计算资源分配问题。

为了达到上述目的，本申请提供了一种分布式联邦学习协同计算方法，具体包括以下步骤：进行深度强化学习模型训练；响应于将训练好的深度强化学习模型分别部署至各边缘服务器，进行联邦学习；联邦学习结束。

如上的，其中，进行深度强化学习模型训练，具体包括以下子步骤：进行深度强化学习模型的网络参数和状态信息的初始化；各参与方根据深度强化学习模型初始化的网络参数和状态信息，进行各自本地模型的训练；响应于完成本地模型的模拟训练，生成带宽分配策略，并在每个时隙单步更新AC网络参数；响应于完成本地模型的模拟传输，生成关联策略和计算资源分配策略，并更新DQN网络参数；检测深度强化学习模型是否收敛或最大迭代次数；若未收敛或最大迭代次数，则开始下一轮迭代，重新进行本地模型的训练。

如上的，其中，将金属表面缺陷检测模型作为本地模型。