[发明专利]双loss价值网络深度强化学习KVFD模型力学参数全局优化方法及系统

权利要求书

1.一种双loss价值网络深度强化学习KVFD模型力学参数全局优化方法，其特征在于，包括以下步骤：

S1，将预获取的纳米压痕测量曲线输入训练好的预测值获取网络，获得所述纳米压痕测量曲线的参数预测值；其中，训练好的预测值获取网络是基于LSTM隐层的循环神经网络，所述循环神经网络在训练时使用的LOSS函数值由输入网络的曲线与曲线对应参数和网络输出的参数与参数对应曲线共同计算；

S2，将所述参数预测值作为深度强化学习算法的迭代初值进行迭代，获得预获取的纳米压痕测量曲线的全局参数解的逼近；其中，所述深度强化学习算法的奖励值预测网络通过当前迭代参数对应曲线与真实曲线的差值，给出当前参数向不同方向变化时的奖励值，指导参数向全局参数逼近；

所述全局参数解的逼近达到预设收敛条件时，将所述全局参数解的逼近作为KVFD模型的力学参数进行输出；

其中，步骤S1中，所述预获取的纳米压痕测量曲线包括时间序列、受力序列和压痕深度序列；

步骤S2中，所述将步骤S1获得的参数预测值作为深度强化学习算法的迭代初值进行迭代，获得预获取的纳米压痕测量曲线的全局参数解的逼近的过程中，每一次迭代的具体步骤包括：

(1)使用奖励评价规则和所述奖励值预测网络分别对当前迭代参数的备选参数集进行奖励值预测，将二者加权相加后作为对当前迭代参数的备选参数集的奖励评价；

所述奖励评价规则为，对于某个备选参数的评价，先计算备选参数对应曲线与预获取的纳米压痕测量曲线的曲线差值Δ，之后计算曲线差值的绝对平均值

奖励值r的评价公式表示为：

(2)根据步骤(1)获得的奖励评价与深度强化学习算法中的Q表当前行的内容，计算Q表的新一行，找到Q表新一行中最大值，将其对应的备选参数作为当次迭代结果参数。

2.根据权利要求1所述的KVFD模型力学参数全局优化方法，其特征在于，步骤S1中，所述预测值获取网络包括：多个LSTM隐藏层和一个DNN网络；

其中，所述多个LSTM隐藏层的每一层的单元数都固定一致，每个LSTM隐藏层之间采用点对点方式连接；第一个LSTM隐藏层输入预获取的纳米压痕测量曲线，最后一个LSTM隐藏层输出值进入DNN网络；

所述DNN网络包括多个维数不同的全连接层和卷积层，用于将最后一个LSTM隐藏层输出的值转变为参数预测值输出。

3.根据权利要求1所述的KVFD模型力学参数全局优化方法，其特征在于，步骤S1中，LOSS函数值的计算表达式为，

式中，L_p部分计算标签参数θ_train与网络输出参数之间的loss值，L_d部分计算曲线D_train与网络输出参数对应的曲线之间的loss值，w_p、w_d分别为L_p、L_d两部分的权重。

4.根据权利要求1所述的KVFD模型力学参数全局优化方法，其特征在于，步骤S2中，所述深度强化学习算法的奖励值预测网络包括：多个LSTM隐藏层和一个DNN网络；

其中，所述多个LSTM隐藏层的每一层的单元数都固定一致，每个LSTM隐藏层之间采用点对点方式连接；第一个LSTM隐藏层输入当前迭代曲线减去预获取的纳米压痕测量曲线所得的差值，最后一个LSTM隐藏层输出值进入DNN网络；

所述DNN网络包括多个维数不同的全连接层和卷积层，用于将最后一个LSTM隐藏层输出的值转变为对各个方向动作的奖励预测。

5.根据权利要求4所述的KVFD模型力学参数全局优化方法，其特征在于，步骤S2中，所述奖励值预测网络训练时采用的LOSS函数为标签奖励值向量与网络输出的奖励值向量的绝对误差和。

6.根据权利要求1所述的KVFD模型力学参数全局优化方法，其特征在于，步骤S2中，判断所述全局参数解的逼近是否达到预设收敛条件的具体步骤包括：在当前迭代结果参数对应曲线与预获取的纳米压痕测量曲线的误差小于某一预设数值时停止迭代；或者，迭代次数达到预设值时停止迭代。

7.一种双loss价值网络深度强化学习KVFD模型力学参数全局优化系统，其特征在于，包括：

参数预测值获取模块，用于将预获取的纳米压痕测量曲线输入训练好的预测值获取网络，获得所述纳米压痕测量曲线的参数预测值；其中，训练好的预测值获取网络是基于LSTM隐层的循环神经网络，所述循环神经网络在训练时使用的LOSS函数值由输入网络的曲线与曲线对应参数和网络输出的参数与参数对应曲线共同计算；

深度强化学习迭代输出模块，用于将获得的参数预测值作为深度强化学习算法的迭代初值进行迭代，获得预获取的纳米压痕测量曲线的全局参数解的逼近；其中，所述深度强化学习算法的奖励值预测网络通过当前迭代参数对应曲线与真实曲线的差值，给出当前参数向不同方向变化时的奖励值，指导参数向全局参数逼近；所述全局参数解的逼近达到预设收敛条件时，将所述全局参数解的逼近作为KVFD模型的力学参数进行输出；

步骤参数预测值获取模块中，所述预获取的纳米压痕测量曲线包括时间序列、受力序列和压痕深度序列；

步骤深度强化学习迭代输出模块中，所述将获得的参数预测值作为深度强化学习算法的迭代初值进行迭代，获得预获取的纳米压痕测量曲线的全局参数解的逼近的过程中，每一次迭代的具体步骤包括：

(1)使用奖励评价规则和所述奖励值预测网络分别对当前迭代参数的备选参数集进行奖励值预测，将二者加权相加后作为对当前迭代参数的备选参数集的奖励评价；

所述奖励评价规则为，对于某个备选参数的评价，先计算备选参数对应曲线与预获取的纳米压痕测量曲线的曲线差值Δ，之后计算曲线差值的绝对平均值

奖励值r的评价公式表示为：

(2)根据步骤(1)获得的奖励评价与深度强化学习算法中的Q表当前行的内容，计算Q表的新一行，找到Q表新一行中最大值，将其对应的备选参数作为当次迭代结果参数。