[发明专利]适配训练设备资源的神经网络模型训练方法及装置

权利要求书

1.一种适配训练设备资源的神经网络模型训练方法，其包括：

获取神经网络模型的批处理参数；

根据所述批处理参数和训练设备资源，确定是否对批处理参数进行修改；若是，则根据修改后的批处理参数计算所述神经网络模型的前向传播次数；

根据修改后的批处理参数将训练样本批量输入至神经网络模型，并根据所述前向传播次数进行多次前向传播；

对多次前向传播得到的梯度偏差进行累加，利用累加的梯度偏差进行后向反馈以调整所述神经网络模型。

2.根据权利要求1所述的方法，其中，所述获取神经网络模型的批处理参数进一步包括：根据训练样本质量确定神经网络模型的批处理参数。

3.根据权利要求1所述的方法，其中，所述根据所述批处理参数和训练设备资源，确定是否对批处理参数进行修改进一步包括：

根据所述批处理参数，计算神经网络模型单次批量处理训练样本的预占用资源；

判断所述预占用资源是否超出所述训练设备资源，若是，则确定对批处理参数进行修改；其中，根据修改后的批处理参数计算神经网络模型单次批量处理训练样本的占用资源不超出所述训练设备资源。

4.根据权利要求3所述的方法，其中，所述训练设备资源为训练设备的GPU内存。

5.根据权利要求1-4中任一项所述的方法，其中，所述对多次前向传播得到的梯度偏差进行累加，利用累加的梯度偏差进行后向反馈以调整所述神经网络模型进一步包括：

对多次前向传播得到的梯度偏差进行累加，并计算平均值；

利用所述平均值进行后向反馈以调整所述神经网络模型。

6.一种适配训练设备资源的神经网络模型训练装置，其包括：

获取模块，适于获取神经网络模型的批处理参数；

修改模块，适于根据所述批处理参数和训练设备资源，确定是否对批处理参数进行修改；若是，则根据修改后的批处理参数计算所述神经网络模型的前向传播次数；

前向传播模块，适于根据修改后的批处理参数将训练样本批量输入至神经网络模型，并根据所述前向传播次数进行多次前向传播；

后向反馈模块，适于对多次前向传播得到的梯度偏差进行累加，利用累加的梯度偏差进行后向反馈以调整所述神经网络模型。

7.根据权利要求6所述的装置，其中，所述获取模块进一步适于：

根据训练样本质量确定神经网络模型的批处理参数。

8.根据权利要求6所述的装置，其中，所述修改模块进一步适于：

根据所述批处理参数，计算神经网络模型单次批量处理训练样本的预占用资源；

判断所述预占用资源是否超出所述训练设备资源，若是，则确定对批处理参数进行修改；其中，根据修改后的批处理参数计算神经网络模型单次批量处理训练样本的占用资源不超出所述训练设备资源。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的适配训练设备资源的神经网络模型训练方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-5中任一项所述的适配训练设备资源的神经网络模型训练方法对应的操作。