[发明专利]基于联邦学习的模型参数训练方法及装置

说明书

本申请公开了一种基于联邦学习的模型参数训练方法及装置。该方法中第一终端接收第二终端发送第一加密映射模型；根据第一加密映射模型对第一样本数据缺失的特征进行预测，获取第一加密补全样本数据；根据当前加密模型参数、第一样本数据和第一加密补全样本数据，训练联邦学习模型，并获取第一秘密共享损失值和第一秘密共享梯度值；若检测出联邦学习模型处于收敛状态，则根据第一秘密共享梯度值对应的更新后的第一秘密共享模型参数和第二终端发送的第二秘密共享模型参数，获取目标模型参数。该方法采用秘密共享的方式使联邦学习模型的训练过程不需要第协作者的协助，提高了用户体验。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于联邦学习的模型参数训练方法及装置。

背景技术

在人工智能领域，传统的数据处理模式往往是一方收集数据，再转移到另一方进行处理、清洗并建模，最后把模型卖给第三方。但随着法规完善和监控愈加严格，如果数据离开收集方或者用户不清楚模型的具体用途，运营者可能会触犯法律。数据是以孤岛的形式存在的，解决孤岛的直接方案就是把数据整合到一方进行处理。但由于法律不允许运营者粗暴地进行数据聚合，故为解决此困境，人们研究提出了“联邦学习”。

联邦学习利用技术算法加密建造的模型，联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，联邦学习通过加密机制下的参数交换方式保护用户数据隐私，而数据和模型本身不会进行传输，也不能反向破解对方数据，因此在数据层面不存在泄露的可能，能够在较高程度保持数据完整性的同时，保障数据隐私。

传统的联邦学习在联邦A，B双方进行模型训练时，为了保证训练过程中数据的保密性，需要借助第三方的协作者C进行加密训练。

然而，发明人发现传统的联邦学习都需要先找寻可信的协作者C，若没有协作者C，则传统的联邦学习的使用将被限制，降低了用户体验。

发明内容

本申请实施例提供一种基于联邦学习的模型参数训练方法及装置，解决了传统的联邦学习的使用将被限制的问题，提高了用户体验。

第一方面，提供了一种基于联邦学习的模型参数训练方法，该方法可以包括：

第一终端接收第二终端发送第一加密映射模型，所述第一加密映射模型是所述第二终端在根据第一样本数据与第二样本数据的交集特征以及所述第二样本数据训练得到第一映射模型后，对所述第一映射模型采用第一秘密共享算法进行加密得到的，其中，所述第一样本数据为所述第一终端运行产生的数据，所述第二样本数据为第二终端运行产生的数据；

根据所述第一加密映射模型对所述第一样本数据缺失的特征进行预测，获取第一加密补全样本数据，所述第一加密补全样本数据为所述第一样本数据相对于第二样本数据缺失的且经过加密处理的特征数据；

根据当前加密模型参数、所述第一样本数据和所述第一加密补全样本数据，训练联邦学习模型，并对所述联邦学习模型，采用预设损失值算法和预设梯度值算法，获取所述联邦学习模型的第一秘密共享损失值和第一秘密共享梯度值，所述第一秘密共享损失值用于表征所述联邦学习模型的收敛程度，所述第一秘密共享梯度值用于表征所述第一秘密共享损失值的变化趋势；

若根据所述第一秘密共享损失值，检测出所述联邦学习模型处于收敛状态，则根据所述第一秘密共享梯度值和所述当前加密模型参数，采用预设模型参数算法，获取所述第一秘密共享梯度值对应的更新后的第一秘密共享模型参数；

根据所述第一秘密共享模型参数和所述第二终端发送的第二秘密共享模型参数，获取所述联邦学习模型的目标模型参数，所述第二秘密共享模型参数为所述第二终端的联邦学习模型处于收敛状态时的秘密共享模型参数。

在一个可选的实现中，接收第二终端发送第一加密映射模型之前，所述方法还包括：

基于所述第一样本数据与所述第二样本数据的交集特征，对所述第一样本数据进行训练，得到第二映射模型；