[发明专利]分布式机器学习系统、模型训练方法、节点设备及介质

说明书

本申请提供了一种分布式机器学习系统、模型训练方法、节点设备及存储介质；系统包括：参数更新节点、以及至少两个执行器节点；其中，参数更新节点用于响应于至少两个执行器节点的模型获取请求，发送机器学习模型至各执行器节点；执行器节点用于接收机器学习模型并获取相应的训练样本子集，通过机器学习模型对训练样本子集中的训练样本进行预测，得到预测结果，并确定预测结果与相应的样本标签之间的差异；基于差异确定目标参数，并发送目标参数至参数更新节点；参数更新节点还用于基于各执行器节点发送的目标参数，更新机器学习模型的模型参数，以得到训练完成的机器学习模型；通过本申请，能够提升机器学习模型的训练效率，降低硬件资源的消耗。

技术领域

本申请涉及云技术和人工智能技术领域，尤其涉及一种分布式机器学习系统、模型训练方法、节点设备及存储介质。

背景技术

人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

相关技术中，机器学习模型的训练一般通过采样的方式将训练数据集缩小至单机能承受的范围，然后通过单机内存与CPU计算能力来完成模型的训练。但是基于单机CPU计算效率低下，模型训练时间过长，而且采样训练数据集可能会遗漏掉重要的信息，导致模型学习效果不佳。

发明内容

本申请实施例提供一种分布式机器学习系统、模型训练方法、节点设备及存储介质，能够提升机器学习模型的训练效率，降低硬件资源的消耗。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种分布式机器学习系统，所述系统包括：参数更新节点、以及至少两个执行器节点；其中，

所述参数更新节点，用于响应于至少两个所述执行器节点的模型获取请求，发送机器学习模型至各所述执行器节点；

所述执行器节点，用于接收所述机器学习模型并获取相应的训练样本子集，通过所述机器学习模型对所述训练样本子集中的训练样本进行预测，得到预测结果，并确定所述预测结果与相应的样本标签之间的差异；

其中，每个所述执行器节点分别对应一个训练样本子集，所述训练样本子集，为对用于训练所述机器学习模型的训练样本集拆分得到；

所述执行器节点，还用于基于所述差异确定目标参数，并发送所述目标参数至所述参数更新节点；

所述参数更新节点，还用于基于各所述执行器节点发送的目标参数，更新所述机器学习模型的模型参数，以得到训练完成的机器学习模型。

本申请实施例还提供一种基于分布式机器学习系统的模型训练方法，所述系统包括：参数更新节点、以及至少两个执行器节点；其中，每个所述执行器节点分别对应一个训练样本子集，所述训练样本子集，为对用于训练机器学习模型的训练样本集拆分得到；所述方法包括：

执行器节点获取机器学习模型以及相应的训练样本子集；

通过所述机器学习模型对相应的训练样本子集中的训练样本进行预测，得到预测结果；

基于所述预测结果与相应的样本标签之间的差异，确定所述机器学习模型对应的目标参数并发送至参数更新节点；

其中，所述目标参数，用于供所述参数更新节点基于所述目标参数更新所述机器学习模型的模型参数，以得到训练完成的机器学习模型。

本申请实施例还提供一种节点设备，包括：

存储器，用于存储可执行指令；