[发明专利]分布式机器学习系统、模型训练方法、节点设备及介质

权利要求书

1.一种分布式机器学习系统，其特征在于，所述系统包括：参数更新节点、以及至少两个执行器节点；其中，

所述参数更新节点，用于响应于至少两个所述执行器节点的模型获取请求，发送机器学习模型至各所述执行器节点；

所述执行器节点，用于接收所述机器学习模型并获取相应的训练样本子集，通过所述机器学习模型对所述训练样本子集中的训练样本进行预测，得到预测结果，并确定所述预测结果与相应的样本标签之间的差异；

其中，每个所述执行器节点分别对应一个训练样本子集，所述训练样本子集，为对用于训练所述机器学习模型的训练样本集拆分得到；

所述执行器节点，还用于基于所述差异确定目标参数，并发送所述目标参数至所述参数更新节点；

所述参数更新节点，还用于基于各所述执行器节点发送的目标参数，更新所述机器学习模型的模型参数，以得到训练完成的机器学习模型。

2.如权利要求1所述的系统，其特征在于，所述系统还包括：驱动器节点，所述驱动器节点与所述至少两个执行器节点构成所述系统的分布式计算框架；

所述驱动器节点，用于获取用于训练所述机器学习模型的训练样本集，并基于所述分布式计算框架对所述训练样本集进行拆分，得到对应各所述执行器节点的训练样本子集。

3.如权利要求2所述的系统，其特征在于，所述驱动器节点，还用于生成各所述执行器节点对应的计算任务，并将所述计算任务发送至相应的所述执行器节点；

其中，所述计算任务，用于指示通过所述机器学习模型对所述训练样本子集中的训练样本进行预测，得到预测结果，确定所述预测结果与相应的样本标签之间的差异，并基于所述差异确定目标参数。

4.如权利要求1所述的系统，其特征在于，

当所述参数更新节点为至少三个时，所述至少三个参数更新节点包括主参数更新节点和至少两个从参数更新节点；

所述执行器节点，还用于将所述目标参数进行拆分，得到至少两个子目标参数，将各所述子目标参数分别发送至相应的从参数更新节点；

所述从参数更新节点，用于基于各所述执行器节点发送的子目标参数，更新所述机器学习模型的模型参数，得到所述机器学习模型的中间模型参数，并发送所述中间模型参数至所述主参数更新节点；

所述主参数更新节点，用于对所述至少两个从参数更新节点发送的中间模型参数进行聚合处理，并基于聚合后的中间模型参数更新所述机器学习模型的模型参数，以得到训练完成的机器学习模型。

5.如权利要求1所述的系统，其特征在于，所述机器学习模型的模型参数包括第一模型参数和第二模型参数，

所述参数更新节点，还用于基于各所述执行器节点发送的目标参数，更新所述机器学习模型的第一模型参数；

相应的，所述执行器节点，还用于基于多个数据统计指标，对所述训练样本子集中的训练样本进行统计，得到各所述数据统计指标的指标值，并获取所述机器学习模型的第一模型参数；基于各所述数据统计指标的指标值和所述第一模型参数，确定中间模型参数；发送所述中间模型参数至所述参数更新节点；

所述参数更新节点，还用于对各所述执行器节点发送的中间模型参数进行聚合处理，并基于聚合后的中间模型参数更新所述机器学习模型的第二模型参数。

6.如权利要求1所述的系统，其特征在于，

所述执行器节点，还用于通过所述机器学习模型的特征提取层，对所述训练样本子集中的训练样本进行特征提取，得到所述训练样本所对应目标用户的用户画像特征、所对应目标页面的页面内容特征以及基于目标页面的用户行为特征；

通过所述机器学习模型的特征预测层，结合所述用户画像特征、页面内容特征以及用户行为特征进行预测，得到所述目标用户针对所述目标页面的行为预测结果。

7.如权利要求1所述的系统，其特征在于，所述机器学习模型对应的神经网络框架为目标神经网络框架；

所述执行器节点，还用于基于目标神经网络框架，调用图形处理器对所述训练样本子集中的训练样本进行预测，得到预测结果，确定所述预测结果与相应的样本标签之间的差异，并基于所述差异确定目标参数。