[发明专利]一种用于在集群环境下进行机器学习的训练方法和系统

权利要求书

1.一种用于在集群环境下基于随机梯度下降法进行机器学习的训练方法，包括：

1)根据集群环境中计算节点的数量，将训练集中的数据分割为用于供各个计算节点并行地执行训练操作的多个部分；

2)利用集群环境中的各个计算节点对所分配的数据集的部分进行训练，使得各个计算节点并行地训练一个机器学习模型；

3)对各个计算节点的处理结果进行加权平均，所述计算节点中的每一个的权重被设置为，使得对于所述集群环境中的各个节点的方差和/或均值的衰减速度一致或彼此接近，该权重的设计与计算涉及所述计算节点在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值，目标函数的正则系数，算法设置中的步长和SGD算法在相应目标函数的收敛速度。

2.根据权利要求1所述的方法，若进行机器学习的训练所使用的损失函数属于非强凸函数，则将计算节点i的权重设置为：

其中，λ是正则系数，η是步长，各个计算节点的编号范围为1...k，T_i是计算节点i在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值。

3.根据权利要求2所述的方法，其中对于所述损失函数为非强凸函数，计算节点的数量k、正则系数λ、步长η、以及计算节点i在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值T_i，被选择为满足表达式：

4.根据权利要求1所述的方法，若进行机器学习的训练所使用的损失函数属于强凸函数，则将所述计算节点i的权重设置为：

其中，r为SGD算法在给定训练数据集和训练函数的情况下的收敛速度，各个计算节点的编号范围为1...k，T_i是计算节点i在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值。

5.根据权利要求4所述的方法，其中对于所述损失函数为强凸函数，计算节点的数量k、SGD算法在给定训练数据集和训练函数的情况下的收敛速度r、以及计算节点i在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值T_i，被选择为满足表达式：

6.根据权利要求1所述的方法，其中所述计算节点中的每一个的权重被设置为包括：

若进行机器学习的训练所使用的损失函数属于非强凸函数，则将计算节点i的权重设置为：

其中，λ是正则系数，η是步长，各个计算节点的编号范围为1...k，T_i是计算节点i在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值；

若进行机器学习的训练所使用的损失函数属于强凸函数，则将所述计算节点i的权重设置为：

其中，r为SGD算法在给定训练数据集和训练函数的情况下的收敛速度，各个计算节点的编号范围为1...k，T_i是计算节点i在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值；

根据训练过程中多次迭代的收敛情况，利用指数函数对所述计算节点在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值进行拟合而确定。

7.根据权利要求1-6中任意一项所述的方法，其中所述计算节点为CPU、或GPU、或Mic或者它们的组合；并且所述集群环境中包含计算能力相同和/或不同的计算节点。

8.一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序在被执行时用于实现如权利要求1-7中任意一项所述的方法。

9.一种用于在集群环境下进行机器学习的训练系统，包括：

存储装置和处理器；

其中，所述存储装置用于存储计算机程序，所述计算机程序在被所述处理器执行时用于实现如权利要求1-7中任意一项所述的方法。