[发明专利]一种隐私保护的模型训练方法和系统

说明书

本说明书实施例公开了一种隐私保护的模型训练方法和系统，所述参与方包括多个训练成员以及服务器，训练成员以及服务器具有相同结构的待训练模型，所述方法其中一轮迭代更新包括：利用自身持有的训练样本对待训练模型进行至少一次本地训练，得到模型数据；所述模型数据中的部分元素添加有噪声；至少基于当前迭代轮次确定传输数据比例，并基于所述传输数据比例从所述模型数据中选出部分元素，得到传输数据；将所述传输数据传输给服务器，以便服务器进行模型数据聚合；接收服务器返回的模型数据更新结果，并基于所述模型数据更新结果进行本地模型更新，将更新后的本地模型作为待训练模型进行下一轮迭代更新，或者基于此确定最终模型。

技术领域

本说明书涉及机器学习技术领域，特别涉及一种隐私保护的模型训练方法和系统。

背景技术

在数据分析、数据挖掘、经济预测等领域，联邦学习可以在保证多方数据安全的情况下，协同训练机器学习模型供多方共同使用的场景。在一些应用场景中，对数据安全有着更高的要求，因此，需要对联邦学习中的多方数据做进一步的保护。

目前，随着任务复杂性和对性能要求的逐渐提升，模型参数也相应的越来越多，与服务器传输的数据成倍增长，因而通讯传输的压力较大。因此，亟需一种能够降低联邦学习过程中的传输压力的模型训练方法。

发明内容

本说明书实施例之一提供一种隐私保护的模型训练方法。所述方法包括：所述方法由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器，训练成员以及服务器具有相同结构的待训练模型，所述方法包括对待训练模型的模型参数进行多轮迭代更新，其中一轮迭代更新包括：利用自身持有的训练样本对待训练模型进行至少一次本地训练，得到模型数据；所述模型数据中的部分元素添加有噪声，添加有噪声的部分元素基于前一轮迭代更新确定；至少基于当前迭代轮次确定传输数据比例，并基于所述传输数据比例从所述模型数据中选出部分元素，得到传输数据；将所述传输数据传输给服务器，以便服务器进行模型数据聚合；接收服务器返回的模型数据更新结果，并基于所述模型数据更新结果进行本地模型更新，将更新后的本地模型作为待训练模型进行下一轮迭代更新，或者基于此确定最终模型。

本说明书实施例之一提供一种隐私保护的模型训练系统，所述系统置于参与方中的任一训练成员处，其中，所述参与方包括多个训练成员以及服务器，训练成员以及服务器具有相同结构的待训练模型，所述系统包括模型数据确定模块、传输数据确定模块、数据传输模块和本地模型更新模块，用于对待训练模型的模型参数进行多轮迭代更新，在其中一轮迭代更新中：模型数据确定模块用于利用自身持有的训练样本对待训练模型进行至少一次本地训练，得到模型数据；所述模型数据中的部分元素添加有噪声，添加有噪声的部分元素基于前一轮迭代更新确定；传输数据确定模块用于至少基于当前迭代轮次确定传输数据比例，并基于所述传输数据比例从所述模型数据中选出部分元素，得到传输数据；数据传输模块用于将所述传输数据传输给服务器，以便服务器进行模型数据聚合；本地模型更新模块用于接收服务器返回的模型数据更新结果，并基于所述模型数据更新结果进行本地模型更新，将更新后的本地模型作为待训练模型进行下一轮迭代更新，或者基于此确定最终模型。

本说明书实施例之一提供一种隐私保护的模型训练方法，所述方法由参与方中的服务器实现，其中，所述参与方包括多个训练成员以及服务器，训练成员以及服务器具有相同结构的待训练模型，所述方法包括对待训练模型的模型参数进行多轮迭代更新，其中一轮迭代更新包括：接收各训练成员上传的传输数据；所述传输数据包括训练成员从其模型数据中选出的部分元素，且模型数据中添加有噪声，添加有噪声的元素基于训练成员前一轮迭代更新确定；获取各训练成员的传输位置数据，所述传输位置数据反映训练成员选出的部分元素在其模型数据中的位置信息；基于各传输数据得到模型数据汇总结果；基于各传输位置数据得到位置数据汇总结果；基于所述模型数据汇总结果以及所述位置数据汇总结果确定模型数据聚合结果；向各训练成员分别返回所述模型数据聚合结果中的至少部分元素，使得各训练成员进行本地模型更新。