[发明专利]质量感知的边缘智能联邦学习方法及系统

说明书

本发明公开了一种质量感知的边缘智能联邦学习方法及系统，该方法包括：云平台以多个学习任务的聚合模型质量之和在每次迭代中都达到最大为优化目标，构建联邦学习质量优化问题并解决：在每次迭代中，利用参与节点的历史学习质量记录预测参与节点的学习质量；其中，利用每次迭代中损失函数值的减少量来量化节点训练数据的学习质量；在每次迭代中，云平台通过反向拍卖机制激励高学习质量的节点参与联邦学习；以进行学习任务和学习报酬的分配；在每次迭代中，对于每个学习任务，每个参与节点将其本地模型参数上传到云平台以聚合得到全局模型。本发明可以在保护数据隐私的情况下，为模型的训练提供更丰富的数据和更多的算力，以提高模型的质量。

技术领域

本发明涉及大规模分布式智能学习系统的性能优化技术，尤其涉及一种质量感知的边缘智能联邦学习方法及系统。

背景技术

随着物联网(IoT，Internet of Things)的飞速发展，网络边缘不断生成大量数据，这为实现基于机器学习的智能服务提供了机会。传统上，集中式机器学习框架需要将庞大的训练数据汇总到云中心以进行模型训练。虽然集中式机器学习的方法可以实现令人满意的学习性能，但是数据的传输和集中式存储会存在隐私泄露的风险，同时数据传输开销对于功率受限的移动设备数以及云中心数据维护的成本，都是系统实施和使用的巨大障碍。近年来，随着新兴的移动边缘计算(MEC，Mobile Edge Computing)技术的发展，移动设备可以配备计算和存储功能，以实现计算和模型训练的本地化，因此MEC也促进了联邦学习的发展。联邦学习是一种分布式机器学习框架，有计算能力的分布式节点利用本地数据在本地训练模型，然后将模型更新上传到云端进行聚合，聚合后的模型更新可以不断提高全局模型的质量，这种本地训练的方式很好地保护了网络隐私。

虽然联邦学习具有非常可观的潜力，但仍然存在两方面的技术挑战。首先，联邦学习的性能高度依赖于训练节点的参与，但是如果没有令人满意的回报，可想而知，移动设备不会愿意参与联邦学习模型的训练；其次，受到节点数据量、数据质量、计算能力等因素的影响，移动设备贡献的模型更新的质量差异很大。在预算有限的情况下，选取合适的节点来参与联邦学习并不是一件容易的事情。一种可行的方法是选择尽可能多的参与节点，但是很多研究已经证明，盲目地聚合太多低质量的模型更新反而会恶化整体模型质量，并使得模型无法进行收敛。

现有研究中，已有一些研究来改善联邦学习系统的性能，但是它们并不能很好地解决上述问题。例如，Shiqiang Wang(王世强)等人设计了一个控制算法来确定最优的模型聚合频率；Zhibo Wang(王志波)等人致力于增强联邦学习系统的安全性和隐私性。尽管这些研究为联邦学习做出了贡献，但是他们基于一个普遍的假设，即有足够多的志愿节点愿意参与联邦学习。但是，志愿参与在实践中是不现实的，因为模型的训练通常会消耗大量的资源，包括能源、计算和带宽资源等，这些对于移动设备而言可能是相当大的开销。意识到这一点，近期一些工作研究了联邦学习中的激励机制。例如，Jiawen Kang等人基于移动节点的名声设计了一个激励机制；Shashi Raj Pandey等人提出了一种基于Stackelberg(斯塔克尔伯格)博弈的激励机制来改善通信开销；Yufeng Zhan等人提出了一种基于深度强化学习的激励机制。但是，他们都没有考虑模型更新的质量，这会严重影响全局模型的质量。具体而言，在联邦学习中，移动设备通常具有异构的计算能力和不同的数据量以及数据质量，这可能导致不同节点学习质量的巨大差异。以外，参与者可能会故意降低学习质量以减少学习成本。聚集太多低质量模型更新会反过来恶化全局模型质量并造成收敛问题。但是，还没有研究将节点的学习质量整合到联邦学习中并进行有质量意识的激励机制和模型聚合。

发明内容

本发明提供了一种质量感知的边缘智能联邦学习方法及系统，用以解决现有的聚合模型没有考虑节点学习质量的激励制度，导致聚集太多低质量模型更新会恶化全局模型质量的技术问题。

为解决上述技术问题，本发明提出的技术方案为：