[发明专利]适配训练设备资源的神经网络模型训练方法及装置

说明书

本发明公开了一种适配训练设备资源的神经网络模型训练方法及装置、计算设备、存储介质，方法包括：获取神经网络模型的批处理参数；根据批处理参数和训练设备资源，确定是否对批处理参数进行修改；若是，则根据修改后的批处理参数计算神经网络模型的前向传播次数；根据修改后的批处理参数将训练样本批量输入至神经网络模型，并根据前向传播次数进行多次前向传播；对多次前向传播得到的梯度偏差进行累加，利用累加的梯度偏差进行后向反馈以调整神经网络模型。利用本发明，可以基于训练设备本身的资源，针对神经网络模型修改得到合适于训练设备的神经网络模型的训练方式，无需对训练设备进行硬件的扩充、算法修改等操作，节省成本，也更易于实施。

技术领域

本发明涉及软件领域，具体涉及一种适配训练设备资源的神经网络模型训练方法及装置、计算设备、计算机存储介质。

背景技术

对神经网络进行训练时，为了得到更准确的训练结果，往往需要大量的训练样本来进行训练。而大量的训练样本在训练时会直接影响到GPU内存的使用情况。低配置设备中的GPU内存较小，其无法直接支撑运行大量的训练样本。如低配置设备的GPU内存最高为24G，而大量的训练样本其可能高达40G的数据，甚至400G的数据。低配置设备无法做到一次运行大量的训练样本。

现有技术中在低配置设备上运行大量的训练样本时，一般采用如对低配置设备的硬件进行调整的方式，如增加GPU内存，但这种方式成本较高；或者，采用在训练时对代码进行改编，降低运行所占用的GPU内存，但这种方式对技术要求较高。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的适配训练设备资源的神经网络模型训练方法及装置、计算设备、计算机存储介质。

根据本发明的一个方面，提供了一种适配训练设备资源的神经网络模型训练方法，其包括：

获取神经网络模型的批处理参数；

根据批处理参数和训练设备资源，确定是否对批处理参数进行修改；若是，则根据修改后的批处理参数计算神经网络模型的前向传播次数；

根据修改后的批处理参数将训练样本批量输入至神经网络模型，并根据前向传播次数进行多次前向传播；

对多次前向传播得到的梯度偏差进行累加，利用累加的梯度偏差进行后向反馈以调整神经网络模型。

根据本发明的另一方面，提供了适配训练设备资源的神经网络模型训练装置，其包括：

获取模块，适于获取神经网络模型的批处理参数；

修改模块，适于根据批处理参数和训练设备资源，确定是否对批处理参数进行修改；若是，则根据修改后的批处理参数计算神经网络模型的前向传播次数；

前向传播模块，适于根据修改后的批处理参数将训练样本批量输入至神经网络模型，并根据前向传播次数进行多次前向传播；

后向反馈模块，适于对多次前向传播得到的梯度偏差进行累加，利用累加的梯度偏差进行后向反馈以调整神经网络模型。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述适配训练设备资源的神经网络模型训练方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述适配训练设备资源的神经网络模型训练方法对应的操作。