[发明专利]面向异构设备的分布式神经网络训练方法、装置及介质

权利要求书

1.面向异构设备的分布式神经网络训练方法，其特征在于：所述方法包括：

步骤10、计算每一设备端面向不同数据源的算力值；

步骤20、进行模型分割，将原始深度模型分割给各个设备端，使得每一设备端到各自的分割模型；

步骤30、在每一设备端上以自身输出和设定的迭代次数对分割模型训练，并在迭代完成后将模型参数进行加密处理后上传至服务端，服务端获取各个设备端的加密信息并解析得到模型参数，利用各个设备端的模型参数对原始深度模型进行更新，完成分布式训练；

所述步骤10具体为：依据多核CPU和多线程GPU异构计算系统中计算设备的算力计算方式，设计一种基于GPU-CPU的并行顺序二次规划算法来计算设备端面向不同数据源的算力值，将原始深度模型分解为NLP子问题，这些子问题由并行SQP算法同时解决，最终，通过从NLP子问题的解决方案中并行选择来获得最大算力值，即设备端面向不同数据源的计算能力值；

所述步骤20具体为：

通过Amazon sagemaker的分布式模型并行库提供的自动模型分割功能获取第一模型分割方案；

将每个设备端提供的算力值求和，然后对每个设备端计算其算力比例，依此比例，将服务上原始深度神经网络按比例分割给每一设备端，即得到第二模型分割方案；

每一设备端通过选取第一模型分割方案和第二模型分割方案中较少神经网络层数的一个作为该设备端的分割模型。

2.根据权利要求1所述的面向异构设备的分布式神经网络训练方法，其特征在于：所述步骤30具体为：

在模型分割到所有设备端后，设备端开始以自身数据和设定的迭代次数进行训练，设备端迭代完成后将模型参数加密处理后上传至服务端，所述模型参数包括梯度信息；

服务端首先建立梯度列表，用以存放所有设备端上传的梯度信息，服务器获取模型参数进行解密后，按照模型分割的设备端顺序存放，直至所有设备端将梯度信息上传完毕，服务端对上传的梯度信息进行加权平均后对原始深度模型进行更新，依此循环至整个分布式训练完成，服务端将最终的模型参数分配到所有设备端上。

3.根据权利要求1所述的面向异构设备的分布式神经网络训练方法，其特征在于：所述加密处理具体为：采用差分加密方式加密，然后进行梯度压缩编码量化。

4.面向异构设备的分布式神经网络训练装置，其特征在于：所述装置包括：

算力计算模块，用于计算每一设备端面向不同数据源的算力值；

模型分割模块，用于进行模型分割，将原始深度模型分割给各个设备端，使得每一设备端到各自的分割模型；以及

训练模块，用于在每一设备端上以自身输出和设定的迭代次数对分割模型训练，并在迭代完成后将模型参数进行加密处理后上传至服务端，服务端获取各个设备端的加密信息并解析得到模型参数，利用各个设备端的模型参数对原始深度模型进行更新，完成分布式训练；

所述算力计算模块具体为：依据多核CPU和多线程GPU异构计算系统中计算设备的算力计算方式，设计一种基于GPU-CPU的并行顺序二次规划算法来计算设备端面向不同数据源的算力值，将原始深度模型分解为NLP子问题，这些子问题由并行SQP算法同时解决，最终，通过从NLP子问题的解决方案中并行选择来获得最大算力值，即设备端面向不同数据源的计算能力值；

所述模型分割模块具体为：

通过Amazon sagemaker的分布式模型并行库提供的自动模型分割功能获取第一模型分割方案；

将每个设备端提供的算力值求和，然后对每个设备端计算其算力比例，依此比例，将服务上原始深度神经网络按比例分割给每一设备端，即得到第二模型分割方案；

每一设备端通过选取第一模型分割方案和第二模型分割方案中较少神经网络层数的一个作为该设备端的分割模型。