[发明专利]模型训练方法、装置、设备及存储介质

说明书

本申请提供一种模型训练方法、装置、设备及存储介质，可应用于横向联邦学习领域，该方法包括：获取第一设备对第一模型进行训练的第一参数信息，基于第一参数信息以及第一设备本地样本数据，对第一模型进行模型训练，在完成训练后，对训练后的第一模型的模型参数进行两次加密处理，得到第二参数信息，并向第二设备发送第二参数信息，以使第二设备更新共享模型的模型参数。由于第二参数信息经过两次加密处理，可降低第二参数信息在传输过程中或在第二设备处被恶意破解的风险。由于第二参数信息始终处于加密状态，可避免各方推测出其他第一设备的模型参数，从而实现对各参与方的信息安全防护。

技术领域

本申请涉及互联网技术领域，尤其涉及一种模型训练方法、装置、设备及存储介质。

背景技术

联邦机器学习又称为联邦学习，能有效帮助多个机构在满足用户隐私保护、数据安全的前提下，进行数据使用和机器学习建模。根据数据和任务特点的不同可以分为纵向联邦学习、横向联邦学习以及联邦迁移学习。

上述的横向联邦学习在人工智能(artificial intelligence,AI)领域应用需求较多，具体是指各合作方的数据集中样本特征重叠较多，而样本标识ID重叠较少的情况。以人脸识别为例，地区A和地区B的数据集在人脸特征方面有较高相似性，但人员重叠较少。由于横向联邦的自身特点，多采用对模型参数联邦聚合前后进行加解密的方案，确保用户数据不出本地，具有较好的防护安全性。

然而，在各合作方端，可通过自有模型参数以及解密后的模型参数推测出其他参与方的综合模型参数，尤其是在两方横向联邦训练时，可直接推测出对方的模型参数，因此存在信息泄露风险。

发明内容

本申请实施例提供一种模型训练方法、装置、设备及存储介质，提高模型训练过程中各参与方的信息安全性。

本申请实施例的第一方面提供一种模型训练方法，应用于第一设备，该模型训练方法包括：

获取所述第一设备对第一模型进行训练的第一参数信息；

基于所述第一参数信息以及所述第一设备的本地样本数据，对所述第一模型进行模型训练，在所述第一模型训练结束后，对训练后的第一模型的模型参数进行两次加密处理，得到第二参数信息；

向第二设备发送所述第二参数信息，所述第二参数信息用于所述第二设备更新共享模型的模型参数，所述共享模型的模型参数是所述第二设备通过对来自不同第一设备的模型参数进行聚合处理得到的，所述共享模型与所述第一模型的模型结构相同。

在第一方面的一个可选实施例中，所述第一设备为联邦学习系统的第一参与方设备，所述第二设备为所述联邦学习系统的第二参与方设备；或者

所述第一设备为所述联邦学习系统的任意一个参与方设备，所述第二设备为所述联邦学习系统的第三方设备。

在第一方面的一个可选实施例中，所述第一参数信息包括所述共享模型的模型参数以及所述共享模型训练的控制参数，所述控制参数包括预设聚合次数、当前聚合次数以及所述第一模型的权重值的至少一项。

在第一方面的一个可选实施例中，所述获取所述第一设备对第一模型进行训练的第一参数信息，包括：

从所述第二设备获取所述第一设备对所述第一模型进行训练的第一参数信息。

在第一方面的一个可选实施例中，所述第一参数信息是经过第一加密算法加密的信息，所述第一加密算法包括多方安全计算SMPC加密算法或同态加密算法。

在第一方面的一个可选实施例中，所述基于所述第一参数信息以及所述第一设备的本地样本数据，对所述第一模型进行模型训练，包括：

采用第一解密算法对所述第一参数信息进行解密，获取解密后的模型参数；所述第一解密算法包括多方安全计算SMPC解密算法或同态解密算法；