[发明专利]一种数据处理系统及方法

权利要求书

1.一种数据处理装置，其特征在于，所述数据处理装置包括：梯度计算模块,累计模块,以及发送模块；

所述梯度计算模块，用于在一次迭代运算过程中，从样本数据集依次读取多个子样本数据集到所述数据处理装置的内存中，所述子样本数据集包括至少一个样本数据,所述样本数据为企业数据，所述数据处理装置的内存是指承载所述数据处理装置的处理器的内存，将读入的每个子样本数据集分别输入机器学习模型，计算所述机器学习模型的多个参数中的每个参数的梯度信息,并且,在利用一个子样本数据集计算完每个参数的一组梯度信息之后,将所述内存中的这一个子样本数据集删掉后再读取下一个子样本数据集到所述内存中，并利用下一个子样本数据集计算每个参数的另一组梯度信息，所述机器学习模型是具有初始化全局参数的机器学习模型,或者是在上一次迭代运算中经过更新的机器学习模型；

所述累计模块，用于在所述一次迭代运算过程中，将计算得到的每个参数的多组梯度信息分别累计后得到所述每个参数的更新梯度；

所述发送模块，用于在所述一次迭代运算过程中，将每个参数的所述更新梯度发送,所述每个参数的所述更新梯度用于更新所述机器学习模型。

2.如权利要求1所述的数据处理装置，其特征在于，所述梯度计算模块,所述累计模块,以及所述发送模块进一步用于参与所述一次迭代运算之后的多次迭代运算，直至所述机器学习模型收敛或者完成指定迭代次数的计算；

在所述一次迭代运算之后的多次迭代运算中的每一次迭代运算中,所述梯度计算模块和所述累计模块,以及所述发送模块重复在所述一次迭代运算过程中的动作，在所述一次迭代运算以及所述一次迭代运算之后的多次迭代运算中，所述机器学习模型在采用一次迭代运算中得到的更新梯度被更新后，被输入后一次的迭代运算。

3.如权利要求1或2所述的数据处理装置，其特征在于，所述累计模块具体用于:

针对根据所述读取的多个子样本数据集，分别得到的每个参数的多组梯度信息，分别将属于同一个参数的多组梯度信息累计，得到每个参数的更新梯度。

4.如权利要求1或2所述的数据处理装置，其特征在于，所述累计模块具体用于:

针对根据每一个子样本数据集，得到的每个参数的一组梯度信息，分别将属于同一个参数的一组梯度信息累计，得到每个参数的累计梯度，这样，针对所述读取的多个子样本数据集，得到每个参数的多个累计梯度，再将每个参数的多个累计梯度分别累计，得到每个参数的更新梯度。

5.如权利要求1或2所述的数据处理装置，其特征在于，所述累计模块具体用于:

针对根据所述读取的多个子样本数据集，分别得到的每个参数的多组梯度信息，分别将属于同一个参数的多组梯度信息收集在一起，每个参数的收集在一起的多组梯度信息作为每个参数的所述更新梯度。

6.如权利要求1或2所述的数据处理装置，其特征在于，所述梯度计算模块具体用于，在所述一次迭代运算过程中，从所述样本数据集依次读取多个子样本数据集，将读入的每个子样本数据集分别输入机器学习模型，读取并利用中间计算结果，计算所述机器学习模型的多个参数中的每个参数的梯度信息,所述中间计算结果作为输入信息参与计算所述梯度信息，并且,在利用一个子样本数据集计算完每个参数的一组梯度信息之后,将这一个子样本数据集删掉后再读取下一个子样本数据集，并利用下一个子样本数据集计算每个参数的另一组梯度信息，在所述中间计算结果被使用完毕之后，删除所述中间计算结果，并且，删除所述中间计算结果的操作要在读取下一个子样本数据集之前完成。

7.一种数据处理系统，其特征在于，所述系统包括：模型更新模块，以及如权利要求1所述的数据处理装置，

所述发送模块，进一步用于在所述一次迭代运算过程中，将每个参数的所述更新梯度发送给所述模型更新模块；

所述模型更新模块用于在所述一次迭代运算过程中，接收每个参数的所述更新梯度，并利用每个参数的所述更新梯度更新所述机器学习模型。

8.如权利要求7所述的数据处理系统，其特征在于，所述数据处理装置的数量为1个，并且所述模型更新模块的数量为一个。