[发明专利]一种基于pyspark的机器学习方法和装置

权利要求书

1.一种基于pyspark的机器学习方法，其特征在于，包括步骤：

对传入的训练集进行格式校验，所述训练集中样本的格式为pyspark的dataframe格式；

如果通过所述格式校验，则将所述训练集随机分为多个并行的分区；

利用所述多个并行的分区进行迭代训练，得到目标模型的结果模型参数，所述目标模型为因子分解机。

2.如权利要求1所述的机器学习方法，其特征在于，所述利用所述多个并行的分区进行迭代训练，包括：

针对每个所述分区，每一轮迭代完成时，通过广播变量传递的中间模型参数计算损失函数；

对所述损失函数求导，得到求导结果；

利用所述求导结果更新所述中间模型参数；

对所有分区的中间模型参数进行线性平均，得到平均模型参数；

判断最近两次迭代计算的过程是否收敛，如是，则将所述平均模型参数输出为所述结果模型参数，如否则进行下一次迭代计算。

3.如权利要求2所述的机器学习方法，其特征在于，所述对所述损失函数求导，包括：

利用随机梯度下降算法或者小批量随机梯度算法对所述损失函数进行求导计算。

4.如权利要求1所述的机器学习方法，其特征在于，还包括：

把所述结果模型参数传到指定路径的文件中。

5.如权利要求1所述的机器学习方法，其特征在于，在所述对传入的训练集进行格式校验步骤之前，还包括：

准备所述训练集，所述训练集的每个样本至少包括特征字段和标签字段。

6.一种基于pyspark的机器学习装置，其特征在于，包括：

格式校验模块，用于对传入的训练集进行格式校验，所述训练集中样本的格式为spark的dataframe格式；

数据分割模块，用于如果通过所述格式校验，则将所述训练集随机分为多个并行的分区；

模型训练模块，用于利用所述多个并行的分区进行迭代训练，得到目标模型的结果模型参数，所述目标模型为因子分解机。

7.如权利要求6所述的机器学习装置，其特征在于，所述模型训练模块包括：

函数计算单元，用于针对每个所述分区，每一轮迭代完成时，通过广播变量传递的中间模型参数计算损失函数；

求导计算模块，用于对所述损失函数求导，得到求导结果；

参数更新模块，用于利用所述求导结果更新所述中间模型参数；

平均计算模块，用于对所有分区的中间模型参数进行线性平均，得到平均模型参数；

收敛输出模块，用于判断最近两次迭代计算的过程是否收敛，如是，则将所述平均模型参数输出为所述结果模型参数，如否则进行下一次迭代计算。

8.如权利要求7所述的机器学习装置，其特征在于，所述求导计算模块具体用于利用随机梯度下降算法或者小批量随机梯度算法对所述损失函数进行求导计算。

9.如权利要求6所述的机器学习装置，其特征在于，还包括：

文件传送模块，用于把所述结果模型参数传到指定路径的文件中。

10.如权利要求6所述的机器学习装置，其特征在于，还包括：

训练集准备模块，用于在所述格式校验模块对传入的训练集进行格式校验之前，准备所述训练集，所述训练集的每个样本至少包括特征字段和标签字段。