[发明专利]以自适应学习率学习神经网络的方法及装置

说明书

本发明涉及以自适应学习率学习神经网络的方法及装置、利用其测试神经网络的方法及装置。所述学习方法包括：(a)学习装置在预设了作为用于调整学习率变更比例的常数的第一伽马的状态下，(i)在所述迭代累积次数在第一特定值以下期间，执行利用训练数据中的一部分以第一预设的学习率反复所述神经网络的所述学习的第一学习过程，(ii)参照通过所述第一学习过程获得的所述神经网络的第一损失将所述第一伽马变更为第二伽马的步骤；(b)所述学习装置在将k从2增大到(n‑1)的过程中，(b1)在所述迭代累积次数超过第(k‑1)特定值且在第k特定值以下期间，执行反复所述神经网络的所述学习的第k学习过程等过程的步骤。本发明能够最小化学习神经网络所需的时间。

技术领域

本发明涉及以自适应学习率学习神经网络的方法及装置、利用其测试神经网络的方法及装置。具体来讲，涉及具有以下特征的学习方法及装置、利用其的测试方法及装置，即，所述学习方法是在每当学习的迭代累积次数达到第一至第n特定值中的一个时调整学习率学习神经网络(neural net work)的方法，其特征在于，包括：(a)学习装置在预设了作为用于调整学习率变更比例的常数的第一伽马的状态下，(i)在所述迭代累积次数在第一特定值以下期间，执行利用训练数据中的一部分以第一预设的学习率反复所述神经网络的所述学习的第一学习过程，(ii)参照通过所述第一学习过程获得的所述神经网络的第一损失将所述第一伽马变更为第二伽马的步骤；(b)所述学习装置在将k从2增大到(n-1)的过程中，(b1)在所述迭代累积次数超过第(k-1)特定值且在第k特定值以下期间，执行利用所述训练数据中的一部分以第k学习率反复所述神经网络的所述学习的第k学习过程，(b2)(i)参照通过所述第k学习过程获得的所述神经网络的第k损失将第k伽马变更为第(k+1)伽马，(ii)利用所述第(k+1)伽马将第k学习率变更为第(k+1)学习率，(b3)所述迭代累积次数超过第k特定值且在第(k+1)特定值以下期间，利用所述训练数据中的一部分以第(k+1)学习率反复所述神经网络的所述学习的第(k+1)学习过程的步骤。

背景技术

近来在研究利用机器学习识别物体等的方法。深度学习作为这种机器学习之一，是利用输入层与输出层之间具有多个隐藏层的神经网络的机器学习，具有高识别性能。

并且，这种利用深度学习的神经网络一般通过利用一个以上的损失的反向传播进行学习。

但是，通过反向传播学习神经网络的情况下使学习率，即向一个以上的参数反映损失的比例越小，则越能够更精密地学习，但具有学习上耗费大量时间的问题。

因此，以往通过执行预定次数的反复学习后将学习率减小预定量的方式学习神经网络。即，初始学习时采用大的学习率使得参数的变动幅度大，以使得能够快速学习，之后阶段性地减小学习率以缩小参数的变动幅度，以使得能够微调。

参见图1a及图1b对这种现有的学习神经网络的方法进行说明。

首先，设定关于神经网络的学习率的初始常数值。

在此，初始常数值可包括(i)作为初始学习率的基本学习率(lr)、(ii)作为用于变更学习率的迭代(iteration)单位的步(step)及(iii)作为用于调整学习率变更比例的常数的伽马(gamma)。在此，迭代可以是利用一个批数据的学习的反复次数。

此时，学习率可用如下数学式1表示。

[数学式1]

图1a例示性地示出设定基本学习率(lr)为0.01、步为100,000，伽马为0.1的状态下学习率变更的状态，图1b示出利用图1a的变更的学习率学习神经网络的状态下损失的变更状态。