[发明专利]基于双重信任机制的鲁棒联邦学习方法及系统

说明书

本发明提供了一种基于双重信任机制的鲁棒联邦学习方法及系统，通过归一化客户端梯度限制恶意梯度的恶意性并增大良性梯度的有益性；本发明提出的一致性信任分可以防止全局模型被误导向错误的更新方向并使促进全局模型往良性方向更新的梯度获得更多的信任；本发明提出的多样性信任分则可以防止全局模型被更新方向相同的恶意梯度所支配并增加对多样性大的客户端梯度的信任，从而可以更好地捕获异质环境中多样的梯度信息；本发明使用调和平均数计算聚合权重可以使只有获得双重信任的客户端梯度才会被认为是良性的，任一信任分不足的梯度都被认为是可疑的，从而保证了对恶意客户端梯度的精准识别。

技术领域

本发明涉及数据挖掘分类及安全人工智能技术领域，特别涉及一种基于双重信任机制的鲁棒联邦学习方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

随着数据集大小不断增长和数据隐私问题不断受到人们重视，联邦学习成为了一种越来越重要的分布式机器学习框架。在联邦学习中，服务提供者(例如，谷歌，苹果和微众银行等服务商)使用中心服务器联合参与的客户端(例如，手机，物联网设备和边缘设备等)在不共享他们私有数据的情况下协同训练一个全局模型方便各参与客户端使用。尽管这种分布式特性提供了扩展性，安全性和隐私性，但它也为训练过程中恶意客户端的(称为拜占庭客户端)恶意操作敞开了大门。这些客户端可能会主动地、恶意地尝试破坏训练过程，也可能只是因为出故障而发送了错误的信息。如何保证联邦学习训练阶段在这样一个存在潜在拜占庭客户端的情况下保持鲁棒性被称为拜占庭鲁棒联邦学习，这是当前联邦学习技术在现实分布式机器学习场景应用中亟需解决的难点。

目前，实现拜占庭鲁棒联邦学习的方法大致分为两种：基于统计的方法和基于辅助数据的方法。基于统计的方法受限于统计方法的客观限制，往往假设不同客户端之间的数据是独立同分布(i.i.d.)的并且要求系统中潜在的拜占庭客户端数目要少于所有客户端数目的50％，这些假设在现实世界的联邦学习中是不合适的。基于辅助数据的方法可以处理不同客户端之间数据是非独立同分布(non-i.i.d.)的问题，然而目前的基于辅助数据的方法仍然存在对辅助数据使用方式粗糙、对恶意客户端特征建模不足的问题，从而导致了这些方法仍然不能广泛地应用于多样的联邦学习场景并高效地识别出恶意的客户端，从而导致训练得到的联邦学习模型无法实现更准确的数据预测或者数据分类。

发明内容

为了解决现有技术的不足，本发明提供了一种基于双重信任机制的鲁棒联邦学习方法及系统，在中心服务器上利用辅助数据获得参考梯度并利用该参考梯度对接收到的客户端梯度进行归一化。然后，为每个梯度分配基于参考梯度的一致性信任分和基于不同客户端间行为差异的多样性信任分。最后，将一致性信任分和多样性信任分的调和平均数作为相应客户端梯度的聚合权重对梯度进行加权并更新全局模型。这样，系统可以有效地利用辅助数据信息并精准地识别出恶意客户端，实现了更拜占庭鲁棒联邦学习训练，保证了数据预测或者数据分类的准确性。

为了实现上述目的，本发明采用如下技术方案：

本发明第一方面提供了一种基于双重信任机制的鲁棒联邦学习方法。

一种基于双重信任机制的鲁棒联邦学习方法，应用于服务器；

包括以下过程：

接收到来自所有客户端更新的客户端模型梯度，利用辅助数据归一化所有客户端模型梯度的模长，利用辅助数据和客户端模型梯度的行为信息计算每个客户端模型梯度的一致性信任分和多样性信任分，为恶意客户端模型梯度分配低于预设值的信任分；

给每个客户端模型梯度分配一致性信任分和多样性信任分后，计算这两个信任分的调和平均数作为相应的聚合权重，利用聚合权重对所有客户端模型梯度进行聚合得到全局梯度以更新全局模型，将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练；