[发明专利]一种神经网络模型的训练方法、装置及芯片

摘要

本发明实施例涉及机器学习领域，尤其涉及一种神经网络模型的训练方法、装置及芯片，用以降低神经网络模型训练过程中的服务器模块和各个工作模块之间的通讯量。本发明实施例中根据每层的模型参数集合中的预估数据量和输出数据的预估数据量，确定每层的模型训练方式，在第j层为模型并行训练方式的情况下，由于第二输出数据为m个工作模块第j‑1层训练的输出数据，因此工作模块根据第二输出数据进行模型参数训练，可直接得到模型参数的全局梯度，相比于现有技术中工作模块向服务器模块上推模型参数的局部梯度，并从服务器模块下拉模型参数的全局梯度之后才得到模型参数的全局梯度的方案，减少了工作模块和服务器模块之间的通讯量。

主权项

一种神经网络模型的训练方法，其特征在于，所述方法用于包括M个工作模块的训练系统，所述神经网络模型包括L层，所述M和所述L为大于等于1的整数；针对所述神经网络模型的L层中的每层，都使用所述M个工作模块中的至少一个工作模块对该层进行训练；所述方法包括：针对所述神经网络模型的L层中的每层，所述至少一个工作模块中的每个工作模块根据该层的模型参数集合中的预估数据量和输出数据的预估数据量，确定该层的模型训练方式；其中，所述模型训练方式包括数据并行训练方式和模型并行训练方式；所述模型参数集合包括该层的所有模型参数；所述至少一个工作模块中的每个工作模块都执行以下操作以对该层进行训练：在进行从第一层计算至第L层的前向算法、且j为大于1且小于等于L的整数的情况下：在该层为所述神经网络模型中的第一层的情况下：所述第一层为数据并行训练方式的情况下：所述工作模块将第一输入数据作为所述第一层的输入数据，对所述第一层的模型参数进行数据并行训练，所述第一输入数据为所述工作模块对应的初始训练数据；在所述第一层为模型并行训练方式的情况下：所述工作模块将第二输入数据作为所述工作模块第一层的输入数据，对所述第一层的模型参数进行模型并行训练，所述第二输入数据为所述至少一个工作模块对应的初始训练数据；在该层为所述神经网络模型中的第j层的情况下：在所述第j层为数据并行训练方式的情况下，所述工作模块将第一输出数据作为所述第j层的输入数据，对所述第j层的模型参数进行数据并行训练，所述第一输出数据为所述工作模块第j‑1层训练的输出数据；在所述第j层为模型并行训练方式的情况下，所述工作模块将第二输出数据作为所述第j层的输入数据，对所述第j层的模型参数进行模型并行训练，所述第二输出数据为m个工作模块第j‑1层训练的输出数据，所述m个工作模块为所述第j‑1层训练使用的一个或多个工作模块；所述m为大于等于1且小于等于M的整数；其中，所述L层中至少一层的m的值大于1。