[发明专利]神经网络的训练方法和装置

说明书

本申请公开了神经网络的训练方法和装置，涉及人工智能、深度学习技术领域，可用于图像处理。具体实施方式包括：获取待训练的神经网络；确定搜索空间，其中，搜索空间用于确定神经网络在训练中学习率的衰减方式，不同的衰减方式所对应的、学习率的衰减参数的参数值不同；基于各个候选衰减方式，在搜索空间中搜索一个候选衰减方式作为目标衰减方式，其中，每次搜索基于不同的衰减方式且对神经网络进行至少两个轮次迭代的训练。本申请可以在搜索空间中搜索出学习率在训练中的衰减方式，从而可以提升确定衰减方式的效果，以得到更加适于神经网络收敛的衰减方式，提升了收敛速度。

技术领域

本申请实施例涉及计算机技术领域，具体涉及人工智能、深度学习技术领域，尤其涉及神经网络的训练方法和装置。

背景技术

近年来深度学习技术已经得到了广泛的应用。学习率是神经网络在深度学习过程中的重要参数，决定了神经网络的收敛情况。具体地，学习率越大，则神经网络的收敛速度越快。而学习率太大，则容易让学习率的梯度来回震荡，可能导致无法实现收敛。

现有技术可以采用学习率衰减的方式，在训练过程中，逐渐减小学习率，从而有助于神经网络的收敛。

发明内容

提供了一种神经网络的训练方法、装置、电子设备以及存储介质。

根据第一方面，提供了一种神经网络的训练方法，包括：获取待训练的神经网络；确定搜索空间，其中，搜索空间用于确定神经网络在训练中学习率的衰减方式，不同的衰减方式所对应的、学习率的衰减参数的参数值不同；基于各个候选衰减方式，在搜索空间中搜索一个候选衰减方式作为目标衰减方式，其中，每次搜索基于不同的衰减方式且对神经网络进行至少两个轮次迭代的训练。

根据第二方面，提供了一种神经网络的训练装置，包括：获取单元，被配置成获取待训练的神经网络；确定单元，被配置成确定搜索空间，其中，搜索空间用于确定神经网络在训练中学习率的衰减方式，不同的衰减方式所对应的、学习率的衰减参数的参数值不同；搜索单元，被配置成基于各个候选衰减方式，在搜索空间中搜索一个候选衰减方式作为目标衰减方式，其中，每次搜索基于不同的衰减方式且对神经网络进行至少两个轮次迭代的训练。

根据第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如神经网络的训练方法中任一实施例的方法。

根据第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如神经网络的训练方法中任一实施例的方法。

根据本申请的方案，可以在搜索空间中搜索出学习率在训练中的衰减方式，从而可以提升确定衰减方式的效果，以得到更加适于神经网络收敛的衰减方式，提升了收敛速度。在一些情况下，将该提升收敛速度的方案用于图像处理，可以提高对图像的处理速度。进一步地，有助于降低执行设备的延时，减少内存等计算资源的占用和消耗。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请一些实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的神经网络的训练方法的一个实施例的流程图；

图3是根据本申请的神经网络的训练方法的一个应用场景的示意图；

图4是根据本申请的神经网络的训练方法的又一个实施例的流程图；

图5是根据本申请的神经网络的训练装置的一个实施例的结构示意图；

图6是用来实现本申请实施例的神经网络的训练方法的电子设备的框图。

具体实施方式