[发明专利]一种基于激励机制的联邦学习优化方法及系统

说明书

本申请公开了一种基于激励机制的联邦学习优化方法及系统，基于信誉值建立奖励机制，激励拥有高质量数据且能高效训练本地数据的训练客户端加入训练，只有具有高精度局部梯度与高训练效率才能获得高奖励，基于拍卖理论设计拍卖机制，训练客户端通过向雾节点拍卖本地训练任务，委托雾节点训练本地数据从而提升本地训练效率，解决训练客户端间由于性能不均而相互等待的问题，设计全局梯度聚合策略，增加高精度局部梯度在全局梯度中的权重，剔除恶意训练客户端的局部梯度，从而减少模型训练次数，整体解决了目前没有方案从激励拥有高质量数据的客户端加入训练，解决客户端性能不均衡问题和聚合策略三方面入手去解决模型训练轮次多，时间长的技术问题。

技术领域

本申请涉及联邦学习优化技术领域，尤其涉及一种基于激励机制的联邦学习优化方法及系统。

背景技术

2017年，谷歌给出了联邦学习的定义，联邦学习是机器学习的一种分布式训练范式，在不需要把数据进行汇集的情况下，在每一轮训练中仅传递模型之间的参数就可实现模型训练，由于联邦学习的这一优势，目前，它在医疗保健，工业制造,自动驾驶等领域中得到广泛应用，用于解决数据分散且私密的问题。虽然它有很多优点，但是不可避免的也存在一些问题。

首先，传统的联邦学习需要假设客户端自愿奉献自己的数据加入训练，然而，由于客户端的自利性，拥有高质量数据的客户端不愿意进行模型训练，这将会影响训练的精度与轮次。为了解决这个问题，人们提出使用主观逻辑计算各个客户端执行任务后的信誉值，基于合同理论设计激励机制，通过奖励贡献多的客户端更多的奖励，进而激励拥有高质量数据的客户端加入训练。由于合同理论的激励机制设计的合约是提前规定的，客户端只能选择是否接受合同，缺乏一定的灵活性，同时，基于主观逻辑模型设计信誉值存在主观性判断因素。有人针对基于合同理论的激励机制中存在的灵活性问题，提出多维采购拍卖方案，客户端有更多机会提交任何资源组合和预期付款。有人针对使用主观逻辑模型设计信誉值存在的主观判断因素的问题，使用模型质量参数来计算信誉值从而判断客户端的可靠性，提高信誉值在系统中的价值。

其次，客户端之间的性能不均衡以及网络中存在的流浪者，使客户端训练时间相差大，从而导致客户端传递的局部梯度到达服务器的时间间隔大，客户端之间相互等待，这是并行计算中普遍存在的问题。为缩短各参与者间的等待时间，人们提出异步解决方案，在收到单个客户端的局部梯度后，直接立即更新全局梯度，并把该全局梯度传递给各个客户端，进而解决客户端等待问题，然而当客户端间数据的分布不一致时训练的结果将不正确。为解决上述问题，有人提出FedCS协议过滤掉低性能客户端，但是该方案会与高性能客户端训练结果过度拟合。此外，也有人提出聚合陈旧与正常模型以加快收敛速度，但是该算法要求客户端在每轮训练中同时上传模型参数和梯度参数，这意味着传输的数据量是平均梯度算法的两倍，花在数据传输上的时间将会增加。为不增加数据传输时间，同时解决客户端间性能不均衡问题，人们提出梯度部分聚合算法，在该算法中，服务器只聚合适当数量的客户端局部梯度，但是聚合的客户端数量针对不同的训练任务会有所变化，需要额外的工作确定适合的参与聚合的具体客户端数量。

最后，传统的联邦学习使用梯度平均的方式进行聚合，忽略了高精度客户端在训练中的贡献，从而增加训练的轮次，为解决该问题，人们提出使用与数据质量相关的参数作为梯度聚合的权重，增加高质量数据的局部梯度在全局梯度中的占比.

然而，目前没有方案从激励拥有高质量数据的客户端加入训练，解决客户端性能不均衡问题和聚合策略三方面入手去解决模型训练轮次多，时间长的技术问题，因此，本申请提供了一种基于激励机制的联邦学习优化方法以解决上述技术问题。

发明内容

本申请提供了一种基于激励机制的联邦学习优化方法及系统，解决了目前没有方案从激励拥有高质量数据的客户端加入训练，解决客户端性能不均衡问题和聚合策略三方面入手去解决模型训练轮次多，时间长的技术问题。

有鉴于此，本申请第一方面提供了一种基于激励机制的联邦学习优化方法，所述方法包括：