[发明专利]一种加速分布式机器学习的方法及系统

权利要求书

1.一种加速分布式机器学习的方法，其特征在于，包括：

将机器学习模型输入到分布式机器学习系统中，对于所述分布式机器学习系统中的任意两个节点，在所述任意两个节点之间建立多条连接，其中，任意两个节点是指工作者节点和参数服务器节点；

将所述机器学习模型的参数分配到多条连接上进行传输，并赋予多条连接不同的优先级，以对分布式机器学习训练进行加速；

对所述分布式机器学习系统中的每条连接设置一个优先级；

对于任一优先级的连接，获取所述任一优先级的连接对应的目标参数，所述目标参数为所述任一优先级的连接需要传输的所述机器学习模型参数；

所述任一优先级的连接对所述目标参数进行传输。

2.根据权利要求1所述加速分布式机器学习的方法，其特征在于，还包括：将所述任一优先级作为所述目标参数的优先级。

3.根据权利要求2所述加速分布式机器学习的方法，其特征在于，对于任意两个不同优先级的目标参数，当这两个目标参数进入网络时，先传输优先级高的目标参数。

4.根据权利要求1所述加速分布式机器学习的方法，其特征在于，所述获取所述任一优先级的连接对应的目标参数，具体包括：

通过启发式算法计算所述机器学习模型的参数在不同优先级之间的分配比例；

根据所述分配比例，获取所述任一优先级的连接对应的目标参数。

5.一种加速分布式机器学习的系统，其特征在于，包括：

连接模块，用于将机器学习模型输入到分布式机器学习系统中，对于所述分布式机器学习系统中的任意两个节点，在所述任意两个节点之间建立多条连接，其中，任意两个节点是指工作者节点和参数服务器节点；

训练模块，用于将所述机器学习模型的参数分配到多条连接上进行传输，并赋予多条连接不同的优先级，以对分布式机器学习训练进行加速；对所述分布式机器学习系统中的每条连接设置一个优先级；对于任一优先级的连接，获取所述任一优先级的连接对应的目标参数，所述目标参数为所述任一优先级的连接需要传输的所述机器学习模型参数；所述任一优先级的连接对所述目标参数进行传输。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述加速分布式机器学习的方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述加速分布式机器学习的方法的步骤。