[发明专利]分布式系统的数据处理方法和分布式系统

说明书

本公开提供了一种分布式系统的数据处理方法。该分布式系统包括计算平台及多个计算节点，该方法包括多次执行的以下操作：计算平台向一个或多个计算节点提供多个参数的初始值；一个或多个计算节点中的每个计算节点调用处理接口，基于待处理数据及所述多个参数的初始值，处理得到多个参数的一组或多组更新参量，其中，该处理接口封装有更新参量计算模型；以及计算平台基于一个或多个计算节点得到的多个参数的一组或多组更新参量，更新多个参数的初始值，其中，在同一次执行过程中，不同计算节点的待处理数据不同，在任两次执行过程中，同一个计算节点的待处理数据不同。本公开还提供了一种分布式系统。

技术领域

本公开涉及一种分布式系统的数据处理方法及分布式系统。

背景技术

随着人工智能的发展，在机器学习应用中，使用分布式训练技术对机器学习模型进行训练以加快模型收敛成为研究热点。

在实现本公开的过程中，发明人发现现有技术中至少存在如下问题：现有的分布式训练技术中，用户业务逻辑和分布式训练逻辑很难剥离，因此用户在需要进行分布式训练技术训练机器学习模型时，还需要了解分布式逻辑和算法细节，以搭建分布式训练逻辑，从而使得现有技术中的分布式训练技术的使用对用户提出较高要求，且训练结果的好坏也取决于用户的能力。

发明内容

本公开的一个方面提供了一种分布式系统的数据处理方法，该分布式系统包括计算平台及多个计算节点，该方法包括多次执行的以下操作：计算平台向一个或多个计算节点提供多个参数的初始值；一个或多个计算节点中的每个计算节点调用处理接口，基于待处理数据及多个参数的初始值，处理得到多个参数的一组或多组更新参量，其中，该处理接口封装有更新参量计算模型；以及计算平台基于一个或多个计算节点得到的多个参数的一组或多组更新参量，更新多个参数的初始值，其中，在同一次执行过程中，不同计算节点的待处理数据不同，在任两次执行过程中，同一个计算节点的待处理数据不同。

可选地，上述待处理数据包括监督式机器学习模型的训练数据；多个参数包括所述监督式机器学习模型的参数；并且/或者，上述处理接口包括：数据处理接口，封装有数据处理模型，用于根据待处理数据及多个参数的初始值，处理得到第一结果，其中，数据处理模型包括所述多个参数；以及更新参量计算接口，封装有更新参量计算模型，用于基于第一结果，计算得到多个参数的一组更新参量，其中，更新参量包括以下至少之一：参数相对于第一结果的梯度值，和/或参数的备选值。

可选地，每个计算节点包括一个或多个图形处理器，每个计算节点调用处理接口，基于待处理数据及多个参数的初始值，处理得到多个参数的一组或多组更新参量包括：将所述待处理数据分为多批的待处理数据；以及一个或多个图形处理器分别调用处理接口，分别基于不同批的待处理数据及多个参数的初始值，处理得到多个参数的一组或多组更新参量，其中，一个图形处理器处理得到一组更新参量。

可选地，上述数据处理模型包括：预测值生成子模型，用于根据待处理数据及多个参数的初始值得到预测值；以及损失值计算子模型，用于根据预测值和预设的标准值，计算得到预测值的损失值；其中，更新参量计算接口根据预测值的损失值计算得到多个参数的一组更新参量。

可选地，上述处理接口还包括数据预处理接口，封装有数据预处理模型，用于对一个计算节点的待处理数据进行预处理，上述数据处理接口，根据预处理后的待处理数据及多个参数的初始值，处理得到第一结果。