[发明专利]基于双重信任机制的鲁棒联邦学习方法及系统

权利要求书

1.一种基于双重信任机制的鲁棒联邦学习方法，其特征在于：应用于服务器；

包括以下过程：

接收到来自所有客户端更新的客户端模型梯度，利用辅助数据归一化所有客户端模型梯度的模长，利用辅助数据和客户端模型梯度的行为信息计算每个客户端模型梯度的一致性信任分和多样性信任分，为恶意客户端模型梯度分配低于预设值的信任分；

给每个客户端模型梯度分配一致性信任分和多样性信任分后，计算这两个信任分的调和平均数作为相应的聚合权重，利用聚合权重对所有客户端模型梯度进行聚合得到全局梯度以更新全局模型，将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练；

在联邦学习训练结束后，将训练后的最终全局模型发送给客户端，以使得客户端用最终全局模型执行本地的预测任务。

2.如权利要求1所述的基于双重信任机制的鲁棒联邦学习方法，其特征在于：

客户端更新的客户端模型梯度，包括：每个客户端利用自己本地的数据对服务器发来的全局模型的模型参数计算梯度进行更新。

3.如权利要求1所述的基于双重信任机制的鲁棒联邦学习方法，其特征在于：

服务器在辅助数据上维护一个服务器模型，在每一轮联邦学习训练中，使用当前的全局模型在辅助数据上训练一个时期得到的模型梯度作为参考梯度；

使用参考梯度归一化每个客户端梯度，以使得每个客户端梯度拥有跟参考梯度相同的模长；计算客户端梯度与参考梯度之间的余弦相似度，并归一化后作为一致性信任分；计算客户端梯度与其方向最靠近的梯度的余弦相似度，并归一化后作为多样性信任分。

4.一种基于双重信任机制的鲁棒联邦学习系统，其特征在于：应用于服务器；

包括：

信任分计算模块，被配置为：接收到来自所有客户端更新的客户端模型梯度，利用辅助数据归一化所有客户端模型梯度的模长，利用辅助数据和客户端模型梯度的行为信息计算每个客户端模型梯度的一致性信任分和多样性信任分，为恶意客户端模型梯度分配低于预设值的信任分；

联邦学习训练模块，被配置为：给每个客户端模型梯度分配一致性信任分和多样性信任分后，计算这两个信任分的调和平均数作为相应的聚合权重，利用聚合权重对所有客户端模型梯度进行聚合得到全局梯度以更新全局模型，将更新后的全局模型发送回每个客户端进行下一轮的联邦学习训练；

全局模型应用模块，被配置为：在联邦学习训练结束后，将训练后的最终全局模型发送给客户端，以使得客户端用最终全局模型执行本地的预测任务。

5.如权利要求4所述的基于双重信任机制的鲁棒联邦学习系统，其特征在于：

客户端更新的客户端模型梯度，包括：每个客户端利用自己本地的数据对服务器发来的全局模型的模型参数计算梯度进行更新。

6.如权利要求4所述的基于双重信任机制的鲁棒联邦学习系统，其特征在于：

服务器在辅助数据上维护一个服务器模型，在每一轮联邦学习训练中，使用当前的全局模型在辅助数据上训练一个时期得到的模型梯度作为参考梯度；

使用参考梯度归一化每个客户端梯度，以使得每个客户端梯度拥有跟参考梯度相同的模长；计算客户端梯度与参考梯度之间的余弦相似度，并归一化后作为一致性信任分；计算客户端梯度与其方向最靠近的梯度的余弦相似度，并归一化后作为多样性信任分。