[发明专利]分布式机器学习模型的训练方法、装置、设备和介质

权利要求书

1.一种分布式机器学习模型的训练方法，其特征在于，所述方法由参与模型训练的多个参与方中任一参与方执行，记为第一参与方，其他参与方记为第二参与方，所述方法包括：

对所述第一参与方的第一原始样本数据进行标准化处理，以获得样本特征维度的第一标准化值和第一样本数据；标准化处理后的第一样本数据用于对模型进行训练；

将所述第一标准化值采用第三加密密钥进行加密，形成第一加密标准化值，并将所述第一加密标准化值提供给可信第三方；

获取第一同态加密中间参数和第二同态加密中间参数；其中，所述第一同态加密中间参数为采用第二参与方的第二同态公钥对第一训练中间参数进行加密的数据，所述第一训练中间参数为第一参与方基于第一样本数据对第一子模型进行训练后产生的中间参数，所述第二同态加密中间参数为采用第二参与方的第二同态公钥对第二训练中间参数进行加密的数据，所述第二训练中间参数为第二参与方基于第二样本数据对第二子模型进行训练后产生的中间参数；所述机器学习模型由至少两个参与方各自本地的子模型组成；

产生第一干扰参数，并采用第二参与方的第二同态公钥进行加密，形成第一加密干扰参数；

基于所述第一同态加密中间参数、第二同态加密中间参数和第一加密干扰参数，以及第一子模型的同态计算函数进行计算，以产生第一加密关键参数；

将所述第一加密关键参数传输给第二参与方，以供所述第二参与方采用第二同态私钥对所述第一加密关键参数进行解密；

获取所述第二参与方解密后的第一关键参数；

根据所述第一关键参数和所述第一干扰参数，对所述第一子模型进行迭代更新，直至所述第一子模型训练完成；

将所述第一子模型采用第三加密密钥进行加密，形成第一加密子模型，并将所述第一加密子模型提供给所述可信第三方，以供所述可信第三方基于各参与方提供的加密子模型进行组合，并基于各参与方提供的加密标准化值进行去标准化处理，再进行切分；

接收所述可信第三方返回的切分后的第一去标准化子模型。

2.根据权利要求1所述的方法，其特征在于，基于所述第一同态加密中间参数、第二同态加密中间参数和第一加密干扰参数，以及第一子模型的同态计算函数进行计算，以产生第一加密关键参数包括：

基于所述第一同态加密中间参数和第二同态加密中间参数，以及第一子模型的同态计算函数进行计算，并将所述第一加密干扰参数基于线性计算叠加至计算结果中，以产生第一加密关键参数；

相应的，根据所述第一关键参数和所述第一干扰参数，对所述第一子模型进行迭代更新，直至所述第一子模型训练完成包括：

基于所述第一干扰参数对所述第一关键参数进行逆向线性计算，并根据逆向线性计算后的关键参数，对所述第一子模型进行迭代更新，直至所述第一子模型训练完成。

3.根据权利要求1-2任一所述的方法，其特征在于，所述干扰参数为随机数。

4.根据权利要求1-2任一所述的方法，其特征在于，所述第一干扰参数包括第一梯度干扰参数和第一损失干扰参数；

相应的，基于所述第一同态加密中间参数、第二同态加密中间参数和第一加密干扰参数，以及第一子模型的同态计算函数进行计算，以产生第一加密关键参数包括：

基于所述第一同态加密中间参数、第二同态加密中间参数和第一加密梯度干扰参数，以及第一子模型的同态梯度计算函数进行计算，以产生第一加密梯度参数；

基于所述第一同态加密中间参数、第二同态加密中间参数和第一加密损失干扰参数，以及第一子模型的同态损失计算函数进行计算，以产生第一加密损失参数。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

产生第一同态密钥对，所述第一同态密钥对包括第一同态公钥和第一同态私钥；

将所述第一同态公钥发送给第二参与方；

接收所述第二参与方发送的所述第二参与方产生的第二同态密钥对中的第二同态公钥。

6.根据权利要求1所述的方法，其特征在于，获取第一同态加密中间参数和第二同态加密中间参数之前，还包括：

确定所述第一参与方与所述第二参与方的样本数据交集标识，至少一个参与方的样本数据对应标注有标签。