[发明专利]一种分布式并行训练方法、设备以及存储介质

权利要求书

1.一种分布式并行训练方法，包括基于每个训练服务器执行以下步骤：

利用参数服务器下发的训练子集对初始训练模型进行训练，并将产生的训练参数上传到所述参数服务器；

接收所述参数服务器利用接收到的所有训练服务器上传的参数得到的更新参数以及所述参数服务器下发的不同的训练子集；

根据所述更新参数更新所述初始训练模型；

利用所述不同的训练子集对更新后的所述初始训练模型进行训练，并再次得到训练参数；

利用所述再次得到的训练参数以及更新参数计算差值参数，并判断所述差值参数与所述再次得到的训练参数的字节大小；

响应于所述差值参数的字节小于所述再次得到的训练参数的字节，将所述差值参数上传到所述参数服务器；

响应于所述训练模型未达到预设要求，返回接收所述参数服务器利用接收到的所有训练服务器上传的参数得到的更新参数以及所述参数服务器下发的不同的训练子集的步骤，直到得到符合预设要求的所述训练模型。

2.如权利要求1所述的方法，其特征在于，还包括：

响应于所述差值参数的字节大于所述再次得到的训练参数的字节，将所述再次得到的训练参数上传到所述参数服务器。

3.如权利要求1所述的方法，其特征在于，接收所述参数服务器利用接收到的所有训练服务器上传的参数得到的更新参数，进一步包括：

接收所述参数服务器对所有的所述训练参数进行平均后的更新参数。

4.如权利要求3所述的方法，其特征在于，还包括：

接收所述参数服务器利用所述差值参数还原得到的所述训练参数进行平均后的更新参数。

5.如权利要求1所述的方法，其特征在于，响应于所述训练模型未达到预设要求，返回接收所述参数服务器利用接收到的所有训练服务器上传的参数得到的更新参数以及所述参数服务器下发的不同的训练子集的步骤，直到得到符合预设要求的所述训练模型，进一步包括：

利用测试集对所述训练模型进行测试；

判断测试结果是否大于阈值；

响应于所述测试结果大于阈值，停止训练。

6.一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行以下步骤：

利用参数服务器下发的训练子集对初始训练模型进行训练，并将产生的训练参数上传到所述参数服务器；

接收所述参数服务器利用接收到的所有训练服务器上传的参数得到的更新参数以及所述参数服务器下发的不同的训练子集；

根据所述更新参数更新所述初始训练模型；

利用所述不同的训练子集对更新后的所述初始训练模型进行训练，并再次得到训练参数；

利用所述再次得到的训练参数以及更新参数计算差值参数，并判断所述差值参数与所述再次得到的训练参数的字节大小；

响应于所述差值参数的字节小于所述再次得到的训练参数的字节，将所述差值参数上传到所述参数服务器；

响应于所述训练模型未达到预设要求，返回接收所述参数服务器利用接收到的所有训练服务器上传的参数得到的更新参数以及所述参数服务器下发的不同的训练子集的步骤，直到得到符合预设要求的所述训练模型。

7.如权利要求6所述的计算机设备，其特征在于，还包括：

响应于所述差值参数的字节大于所述再次得到的训练参数的字节，将所述再次得到的训练参数上传到所述参数服务器。

8.如权利要求6所述的计算机设备，其特征在于，接收所述参数服务器利用接收到的所有训练服务器上传的参数得到的更新参数，进一步包括：

接收所述参数服务器对所有的所述训练参数进行平均后的更新参数。

9.如权利要求8所述的计算机设备，其特征在于，还包括：

接收所述参数服务器利用所述差值参数还原得到的所述训练参数进行平均后的更新参数。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行权利要求1-5任意一项所述的方法的步骤。