[发明专利]一种隐私保护的模型训练方法和系统

权利要求书

1.一种隐私保护的模型训练方法，所述方法由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器，训练成员以及服务器具有相同结构的待训练模型，所述方法包括对待训练模型的模型参数进行多轮迭代更新，其中一轮迭代更新包括：

利用自身持有的训练样本对待训练模型进行至少一次本地训练，得到模型数据；所述模型数据中的部分元素添加有噪声，添加有噪声的部分元素基于前一轮迭代更新确定；

至少基于当前迭代轮次确定传输数据比例，并基于所述传输数据比例从所述模型数据中选出部分元素，得到传输数据；

将所述传输数据传输给服务器，以便服务器进行模型数据聚合；

接收服务器返回的模型数据更新结果，并基于所述模型数据更新结果进行本地模型更新，将更新后的本地模型作为待训练模型进行下一轮迭代更新，或者基于此确定最终模型。

2.如权利要求1所述的方法，所述传输数据携带有选出的部分元素在所述模型数据中的位置信息；或者，

所述方法还包括：确定选出的部分元素在所述模型数据中的位置信息，得到传输位置数据；且传输给所述服务器的还包括所述传输位置数据。

3.如权利要求2所述的方法，所述传输数据与所述模型数据同维，且传输位置数据中与未选出的部分元素位置对应的元素为0；

或者，所述传输位置数据与所述模型数据同维，且传输位置数据中与选出的部分元素位置对应的元素为1，其余元素为0。

4.如权利要求1所述的方法，其中一次本地训练包括：

从自身持有的训练样本中选择一个或多个训练样本；

基于待训练模型以及所述一个或多个训练样本，得到对应的一个或多个梯度数据列表；

基于前一轮迭代训练选出的部分元素在对应模型数据中的位置信息分别从所述一个或多个梯度数据列表中选出部分元素，得到一个或多个稀疏梯度列表；

对所述一个或多个稀疏梯度列表添加噪声，并生成聚合稀疏梯度列表；

至少利用聚合稀疏梯度列表对待训练模型的模型参数进行更新，得到所述模型数据。

5.如权利要求4所述的方法，所述对所述一个或多个稀疏梯度列表添加噪声，并生成聚合稀疏梯度列表，包括：

对所述一个或多个稀疏梯度列表的元素进行剪裁处理，得到一个或多个剪裁稀疏梯度列表；

将所述一个或多个剪裁稀疏梯度列表以及噪声列表进行聚合，得到所述聚合稀疏梯度列表。

6.如权利要求5所述的方法，将所述一个或多个剪裁稀疏梯度列表以及噪声列表进行聚合，得到所述聚合稀疏梯度列表，包括：

所述一个或多个剪裁稀疏梯度列表以及噪声列表按位求和；

计算求和结果相对所述一个或多个训练样本的样本数量的均值，得到所述聚合稀疏梯度列表。

7.如权利要求4所述的方法，所述至少利用聚合稀疏梯度列表对待训练模型的模型参数进行更新，得到所述模型数据，包括：

基于一个或多个梯度数据列表，得到聚合梯度数据列表；

利用聚合稀疏梯度列表中的非0元素替换所述聚合梯度数据列表中位置对应的梯度数据，得到合并聚合梯度数据列表；

利用合并聚合梯度数据列表对待训练模型的模型参数进行更新，得到所述模型数据。

8.如权利要求1所述的方法，传输数据比例与迭代轮次负相关；

所述基于所述传输数据比例从所述模型数据中选出部分元素，得到传输数据，包括：

基于当前迭代轮次的传输数据比例与模型数据的元素数量确定当前迭代轮次的传输数据数量；

基于所述传输数据数量从所述模型数据中选出绝对值排序靠前的部分元素，得到所述传输数据。

9.如权利要求1所述的方法，服务器下发的模型数据更新结果包括与传输数据中的元素位置对应的聚合模型参数；

所述接收服务器返回的模型数据更新结果，并基于所述模型数据更新结果进行本地模型更新，包括：

将所述模型数据中的相应元素替换为模型数据更新结果中的聚合模型参数，得到更新后的本地模型。