[发明专利]双loss价值网络深度强化学习KVFD模型力学参数全局优化方法及系统

说明书

本发明公开了一种双loss价值网络深度强化学习KVFD模型力学参数全局优化方法及系统，所述方法包括以下步骤：S1，将预获取的纳米压痕测量曲线输入训练好的预测值获取网络，获得所述纳米压痕测量曲线的参数预测值；S2，将所述参数预测值作为深度强化学习算法的迭代初值进行迭代，获得预获取的纳米压痕测量曲线的全局参数解的逼近；所述全局参数解的逼近达到预设收敛条件时，将所述全局参数解的逼近作为KVFD模型的力学参数进行输出。本发明的方法，在迭代中引入了参数预测值进行参数指导，能够较好地逼近全局最优解。

技术领域

本发明属于纳米压痕测量数据的力学参数技术领域，涉及KVFD模型多参数函数拟合以及全局参数逼近领域，特别涉及一种双loss价值网络深度强化学习KVFD模型力学参数全局优化方法及系统。

背景技术

目前，在通过纳米压痕测量数据获取被测材料力学参数的过程中，对于简单函数拟合，多采用最小二乘法，逐次迭代调整函数参数以降低拟合曲线与真实曲线之间的最小均方误差。该方法对于简单函数的拟合快捷有效，但对于复杂函数、多参数函数的拟合往往表现不佳。

对于KVFD模型复杂函数的多参数优化，采用常见的贪婪算法、梯度下降算法、模拟退火算法均不能获得较好的全局最优解；其中，贪婪算法和梯度下降算法能够寻找到给定初始参数附近的局部最优解，对于复杂函数多参数优化有一定的适用性，但是否找到全局参数与给定的初值有很大关系，很难逼近全局参数；模拟退火算法是采用一定的概率接受新的参数解，具有跳出局部最优陷阱的能力，在对于有许多局部最优解的优化问题中，显现出更好的优化能力，有一定的概率能找到全局参数解附近的解，但是模拟退火算法概率性的特点也导致了它不能每次都逼近全局参数解，可靠性较差。

综上所述，目前对于KVFD模型复杂函数多参数优化问题，难以有效逼近全局最优解。

发明内容

本发明的目的在于提供一种双loss价值网络深度强化学习KVFD模型力学参数全局优化方法及系统，以解决上述存在的一个或多个技术问题。本发明的方法，在迭代中引入了参数预测值进行参数指导，能够较好地逼近全局最优解。

为达到上述目的，本发明采用以下技术方案：

本发明的一种双loss价值网络深度强化学习KVFD模型力学参数全局优化方法，包括以下步骤：

S1，将预获取的纳米压痕测量曲线输入训练好的预测值获取网络，获得所述纳米压痕测量曲线的参数预测值；其中，训练好的预测值获取网络是基于LSTM隐层的循环神经网络，所述循环神经网络在训练时使用的LOSS函数值由输入网络的曲线与曲线对应参数和网络输出的参数与参数对应曲线共同计算；

S2，将所述参数预测值作为深度强化学习算法的迭代初值进行迭代，获得预获取的纳米压痕测量曲线的全局参数解的逼近；其中，所述深度强化学习算法的奖励值预测网络通过当前迭代参数对应曲线与真实曲线的差值，给出当前参数向不同方向变化时的奖励值，指导参数向全局参数逼近；

所述全局参数解的逼近达到预设收敛条件时，将所述全局参数解的逼近作为KVFD模型的力学参数进行输出。

本发明的进一步改进在于，步骤S1中，所述预获取的纳米压痕测量曲线包括时间序列、受力序列和压痕深度序列。

本发明的进一步改进在于，步骤S1中，所述预测值获取网络包括：多个LSTM隐藏层和一个DNN网络；

其中，所述多个LSTM隐藏层的每一层的单元数都固定一致，每个LSTM隐藏层之间采用点对点方式连接；第一个LSTM隐藏层输入预获取的纳米压痕测量曲线，最后一个LSTM隐藏层输出值进入DNN网络；

所述DNN网络包括多个维数不同的全连接层和卷积层，用于将最后一个LSTM隐藏层输出的值转变为参数预测值输出。

本发明的进一步改进在于，步骤S1中，LOSS函数值的计算表达式为，