[发明专利]自适应步长梯度下降的方法、装置、设备及可读存储介质

说明书

本发明提供了一种自适应步长梯度下降的方法、装置、设备及可读存储介质，包括：获取优化模型中的假设函数，并生成所述假设函数的损失函数；运算所述损失函数，并获取当前时刻的损失函数值与上一时刻的损失函数值,并生成两者的比较结果；根据所述比较结果,调用调节函数对参数的学习率进行自适应调节,以重新运算损失函数。解决了学习率随迭代递减，导致梯度下降后期收敛慢或不收敛情况。

技术领域

本发明涉及机器学习领域，特别涉及一种自适应步长梯度下降的方法、装置、设备及可读存储介质。

背景技术

在现有技术中,机器学习本质是求解一个目标函数，并以此目标函数判断未来数据走向，优化算法是求解目标函数中参数的重要工具，广泛使用的优化算法当属梯度下降，因此，提升梯度下降收敛速度、解决梯度下降算法陷入局部最优解问题、减少梯度下降在最小值附近的震荡性，对机器学习、自然语言处理、图像处理等领域都有着有重要的理论意义和实际应用价值。

梯度下降其中一个优化方向是学习率的优化，目前已有的学习率优化算法采用递减方式,即学习率随迭代递减，导致梯度下降后期收敛慢或不收敛情况。

有鉴于此，提出本申请。

发明内容

本发明公开了一种自适应步长梯度下降的方法、装置、设备及可读存储介质，旨在解决学习率随迭代递减，导致梯度下降后期收敛慢或不收敛情况。

本发明第一实施例提供了一种自适应步长梯度下降的方法，包括：

获取优化模型中的假设函数，并生成所述假设函数的损失函数；

运算所述损失函数，并获取当前时刻的损失函数值与上一时刻的损失函数值,并生成两者的比较结果；

根据所述比较结果,调用调节函数对参数的学习率进行自适应调节,以重新运算损失函数。

优选地，所述假设函数的模型为：h_θ(x₁,x₂,…,x_n)＝θ₀+θ₁x₁+…θ_nx_n；

其中，θ_i(i＝0,1,2,…,n)为模型参数，x_i(i＝0,1,2,…,n)为每个样本的n个特征；

所述损失函数的模型为：

其中，h_θ为模型预测值，y_i为样本实际值。

优选地，所述根据所述比较结果,调用调节函数对参数的学习率进行自适应调节,以重新运算损失函数，具体为：

在根据所述比较结果判断到当前时刻的损失函数值大于上一时刻的损失函数值时，增加学习率，重新生成模型参数，并通过重新生成的模型参数运算当前时刻的损失函数。

优选地，还包括：在根据所述比较结果判断到当前时刻的损失函数值小于上一时刻的损失函数值时，减小学习率，重新生成模型参数，并通过重新生成的模型参数运算上一时刻的损失函数。

优选地，所述调节函数为tanh函数。

其中，所述tanh函数的模型为λ＝λ(1+tanh(J_t-J_t+1))。

优选地，所述模型参数的表达式为：

θ_t+1＝θ_t-λg_t；

其中，θ_t表示所有参数在t时刻的状态，g_t表示梯度，λ表示学习率。