[发明专利]一种面对工程应用的机器学习模型可靠性评估方法

权利要求书

1.一种面对工程应用的机器学习模型可靠性评估方法，其特征在于，包括以下步骤：

步骤1，通过已有样本集进行机器学习，选定机器学习模型及对应的超参数，训练多个仅随机种子不同的初始模型；

步骤2，采用步骤1中不同模型分别对复杂工程环境中的问题进行预测或决策；

步骤3，计算步骤2中多个模型预测结果的相对标准差；

步骤4，将阈值设置为ε，当工程场景中预测结果的相对标准差低于设定阈值时，可认为步骤1中模型针对步骤2中工程问题的预测结果具有可靠性，即机器学习模型的预测可信，该问题可相信机器决策；

步骤5，若机器学习模型预测结果的相对标准差高于设定阈值，则认为机器预测结果不具备参考价值，该问题需要人工决策。

2.根据权利要求1所述的方法，其特征在于：

步骤1中，对所选择模型对应的超参数，可设置每一个超参数的取值范围，随后利用优化模型进行最优超参数组合选择。

3.根据权利要求1所述的方法，其特征在于：

步骤1中，所述的多个初始模型，应当已经在初始数据集上进行了充分训练，并获得了较高的预测水准。

4.根据权利要求1所述的方法，其特征在于：

步骤1中，训练的初始模型的数目应不少于3个。

5.根据权利要求1所述的方法，其特征在于：

步骤1中，在模型训练前需将待训练的参数设置为不同的随机状态，其他所有的模型结构，训练数据和超参数均相同。

6.根据权利要求1所述的方法，其特征在于：

步骤3中，相对标准差的计算公式为：

式中：RSD为样本相对标准差，σ为样本的标准差，μ为样本多个预测值的平均值。

7.根据权利要求1所述的方法，其特征在于：

步骤4中，所述设定的阈值，应该根据具体工程问题的属性和精度要求来决定。

8.根据权利要求1所述的方法，其特征在于：

所述的无监督式评估方法适用于训练参数多于目标函数数量的各类机器学习模型。