[发明专利]模型训练、预测方法及其系统

说明书

本说明书中的实施例提供了模型训练、预测方法及其系统。模型被划分成本地模型和中心节点模型，各训练节点训练相同结构的本地模型，中心节点训练中心节点模型。训练过程中，各训练节点将训练样本的特征值拆分以获得特征值分片，互相交换特征值分片，基于交换结果及本地模型的第一模型参数通过秘密共享算法计算本地模型的第一输出分片，将第一输出分片发送给中心节点。中心节点基于同一样本ID对应的各训练节点的第一输出分片计算第一输入，基于同一样本ID对应的第一输入和样本标签训练中心节点模型，向各训练节点反馈中心节点模型输入层的目标梯度。各训练节点基于目标梯度更新本地模型参数。如此，可以保护数据隐私。

技术领域

本说明书实施例涉及信息技术领域，特别涉及模型训练、预测方法及其系统。

背景技术

随着人工智能技术的发展，机器学习模型已逐渐应用于风险评估、语音识别、自然语言处理等领域。在医疗、金融等领域，不同的企业或机构拥有不同的样本数据，若将这些样本数据进行联合训练，可以有效提升模型精度，给企业带来巨大的经济效益。然而，不同的企业或机构各自拥有的样本数据包含大量的用户隐私甚至商业机密，一旦样本数据泄露，将导致一系列负面影响。

因此，目前希望提供一种能够有效保护用户数据隐私的联合训练方案。

发明内容

本说明书实施例之一提供一种模型训练方法，其中，所述方法由N个训练节点中的某一训练节点执行，N为大于1的整数；所述N个训练节点均与中心节点通信连接，N个训练节点具有训练样本的样本ID对应相同的训练集，至少一个训练节点的训练集具有与其他训练节点不同的特征项；所述方法包括：确定所述训练集的维度数据；与中心节点和/或其他N-1个训练节点交互所述维度数据，以确定待训练的本地模型的模型结构；基于所述模型结构确定第一模型参数；将训练样本的特征值拆分以获得特征值分片；与其他N-1个训练节点交换特征值分片；基于交换结果及第一模型参数通过秘密共享算法计算本地模型的第一输出分片；将所述第一输出分片发送给所述中心节点；接收所述中心节点反馈的目标梯度；基于所述目标梯度对所述本地模型的参数进行更新。

本说明书实施例之一提供一种模型训练系统，其中，所述系统对应于N个训练节点中的某一训练节点，N为大于1的整数；所述N个训练节点均与中心节点通信连接，N个训练节点具有训练样本的样本ID对应相同的训练集，至少一个训练节点的训练集具有与其他训练节点不同的特征项；所述系统包括：维度数据确定模块，用于确定所述训练集的维度数据；本地模型结构确定模块，用于与中心节点和/或其他N-1个训练节点交互所述维度数据，确定待训练的本地模型的模型结构；第一模型参数确定模块，用于基于所述模型结构确定第一模型参数；特征值拆分模块，用于拆分训练样本的特征值，获得特征值分片；特征值分片交换模块，用于与其他N-1个训练节点交换特征值分片；第一输出分片计算模块，用于基于交换结果及第一模型参数，通过秘密共享算法计算本地模型的第一输出分片；第一输出分片发送模块，用于将所述第一输出分片发送给中心节点；目标梯度反馈模块，用于接收所述中心节点反馈的目标梯度；本地模型参数更新模块，用于基于所述目标梯度对本地模型的参数进行更新。

本说明书实施例之一提供一种模型训练装置，其中，所述装置包括处理器以及存储器，所述存储器用于存储指令；所述指令被所述处理器执行时，实现如本说明书任一实施例所述的由训练节点执行的模型训练方法。

本说明书实施例之一提供一种模型训练方法，其中，所述方法由中心节点执行，所述中心节点与N个训练节点通信连接，N为大于1的整数，所述方法包括：基于训练节点的待训练本地模型的输出层节点数，确定中心节点模型的模型结构；接收所述N个训练节点发送的第一输出分片；接收训练节点发送的训练样本的样本标签；基于所述N个训练节点发送的同一样本ID对应的第一输出分片，计算第一输入；基于同一样本ID对应的第一输入和样本标签训练中心节点模型；确定所述中心节点模型的输入层的目标梯度；向N个训练节点反馈所述目标梯度。