[发明专利]分布式系统的数据处理方法和分布式系统

权利要求书

1.一种分布式系统的数据处理方法，所述分布式系统包括计算平台及多个计算节点，所述方法包括多次执行的以下操作：

计算平台向一个或多个计算节点提供多个参数的初始值；

所述一个或多个计算节点中的每个计算节点调用处理接口，基于待处理数据及所述多个参数的初始值，处理得到所述多个参数的一组或多组更新参量，其中，所述处理接口封装有更新参量计算模型；以及

所述计算平台基于所述一个或多个计算节点得到的所述多个参数的一组或多组更新参量，更新所述多个参数的初始值，

其中，在同一次执行过程中，不同计算节点的待处理数据不同，在任两次执行过程中，同一个计算节点的待处理数据不同。

2.根据权利要求1所述的方法，其中：

所述待处理数据包括监督式机器学习模型的训练数据；所述多个参数包括所述监督式机器学习模型的参数；并且/或者

所述处理接口包括：

数据处理接口，封装有数据处理模型，用于根据待处理数据及所述多个参数的初始值，处理得到第一结果，其中，所述数据处理模型包括所述多个参数；以及

更新参量计算接口，封装有所述更新参量计算模型，用于基于所述第一结果，计算得到所述多个参数的一组更新参量，

其中，所述更新参量包括以下至少之一：参数相对于所述第一结果的梯度值，和/或参数的备选值。

3.根据权利要求2所述的方法，其中：

每个计算节点包括一个或多个图形处理器，

每个计算节点调用处理接口，基于待处理数据及所述多个参数的初始值，处理得到所述多个参数的一组或多组更新参量包括：

将所述待处理数据分为多批的待处理数据；以及

所述一个或多个图形处理器分别调用所述处理接口，分别基于不同批的待处理数据及所述多个参数的初始值，处理得到多个参数的一组或多组更新参量，

其中，一个图形处理器处理得到一组更新参量。

4.根据权利要求2所述的方法，其中：所述数据处理模型包括：

预测值生成子模型，用于根据待处理数据及所述多个参数的初始值得到预测值；以及

损失值计算子模型，用于根据所述预测值和预设的标准值，计算得到所述预测值的损失值，

其中，所述更新参量计算接口根据所述预测值的损失值计算得到所述多个参数的一组更新参量。

5.根据权利要求2所述的方法，其中：

所述处理接口还包括数据预处理接口，封装有数据预处理模型，用于对一个计算节点的待处理数据进行预处理，

所述数据处理接口，根据预处理后的待处理数据及所述多个参数的初始值，处理得到所述第一结果。

6.根据权利要求2所述的方法，其中，所述待处理数据包括神经网络的训练数据，所述计算平台更新所述多个参数的初始值的更新机制包括：

同步更新机制，在得到多个参数的多组更新参量的情况下，以所述多组更新参量中每个参数对应的多个更新参量的平均值作为所述多个参数中每个参数更新后的初始值，所述更新参量为参数的备选值；或者

异步更新机制，在得到多个参数的一组更新参量的情况下，根据该一组更新参量，实时更新所述多个参数的初始值，其中，所述更新参量为参数相对于所述第一结果的梯度值；或者

灵活更新机制，在得到预设组数的更新参量的情况下，根据所述预设组数的更新参量中每个参数对应的预设数量的更新参量的平均值，更新所述多个参数的初始值，其中，所述更新参量为参数相对于所述第一结果的梯度值。

7.根据权利要求2所述的方法，其中，所述更新参量计算模型包括：

梯度计算子模型，用于根据所述第一结果计算得到所述多个参数相对于所述第一结果的梯度值；以及

学习率计算子模型，用于根据所述多个参数的梯度值计算得到学习率，

其中，所述更新参量还包括所述学习率。