[发明专利]自适应步长梯度下降的方法、装置、设备及可读存储介质

权利要求书

1.一种自适应步长梯度下降的方法，其特征在于，包括：

获取优化模型中的假设函数，并生成所述假设函数的损失函数；

运算所述损失函数，并获取当前时刻的损失函数值与上一时刻的损失函数值,并生成两者的比较结果；

根据所述比较结果,调用调节函数对参数的学习率进行自适应调节,以重新运算损失函数。

2.根据权利要求1所述的一种自适应步长梯度下降的方法，其特征在于，所述假设函数的模型为：h_θ(x₁,x₂,…,x_n)＝θ₀+θ₁x₁+…θ_nx_n；

其中，θ_i(i＝0,1,2,…,n)为模型参数，x_i(i＝0,1,2,…,n)为每个样本的n个特征；

所述损失函数的模型为：

其中，h_θ为模型预测值，y_i为样本实际值。

3.根据权利要求2所述的一种自适应步长梯度下降的方法，其特征在于，所述根据所述比较结果,调用调节函数对参数的学习率进行自适应调节,以重新运算损失函数，具体为：

在根据所述比较结果判断到当前时刻的损失函数值大于上一时刻的损失函数值时，增加学习率，重新生成模型参数，并通过重新生成的模型参数运算当前时刻的损失函数。

4.根据权利要求3所述的一种自适应步长梯度下降的方法，其特征在于，还包括：在根据所述比较结果判断到当前时刻的损失函数值小于上一时刻的损失函数值时，减小学习率，重新生成模型参数，并通过重新生成的模型参数运算上一时刻的损失函数。

5.根据权利要求3所述的一种自适应步长梯度下降的方法，其特征在于，所述调节函数为tanh函数。

其中，所述tanh函数的模型为λ＝λ(1+tanh(J_t-J_t+1))。

6.根据权利要求3所述的一种自适应步长梯度下降的方法，其特征在于，所述模型参数的表达式为：

θ_t+1＝θ_t-λg_t；

其中，θ_t表示所有参数在t时刻的状态，g_t表示梯度，λ表示学习率。

7.一种自适应步长梯度下降的装置，其特征在于，包括：

损失函数生成单元，用于获取优化模型中的假设函数，并生成所述假设函数的损失函数；

比较结果生成单元，用于运算所述损失函数，并获取当前时刻的损失函数值与上一时刻的损失函数值,并生成两者的比较结果；

调节函数调用单元，用于根据所述比较结果,调用调节函数对参数的学习率进行自适应调节,以重新运算损失函数。

8.根据权利要求7所述的一种自适应步长梯度下降的装置，其特征在于，所述假设函数的模型为：h_θ(x₁,x₂,…,x_n)＝θ₀+θ₁x₁+…θ_nx_n；

其中，θ_i(i＝0,1,2,…,n)为模型参数，x_i(i＝0,1,2,…,n)为每个样本的n个特征；

所述损失函数的模型为：

其中，h_θ为模型预测值，y_i为样本实际值。

9.一种自适应步长梯度下降的设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序实现如权利要求1至6任意一项所述的一种自适应步长梯度下降的方法。

10.一种可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如权利要求1至6任意一项所述的一种自适应步长梯度下降的方法。