[发明专利]融合后验概率校准的模型训练方法、装置、设备及介质

说明书

本发明实施例公开了一种融合后验概率校准的模型训练方法、装置、设备及介质，方法包括：首先将第一预设数量的样本输入至分类模型以进行预测，得到每个样本的预测类别和预测后验概率；接着，根据每个样本的预测后验概率，将第一预设数量的样本划分至概率区间中，即对样本进行区间分类；再统计每个概率区间内，每种预测类别的样本的数量和每种预测类别的所有样本中预测正确的样本的数量，得到经验后验概率；根据每个样本对应的预测后验概率和经验后验概率，计算概率损失值，并根据概率损失值训练分类模型。由此，本发明实施例使得模型输出的预测后验概率与真实置信度匹配，避免了模型出现“盲目自信”的情况。

技术领域

本发明涉及神经网络模型领域，尤其涉及一种融合后验概率校准的模型训练方法、装置、设备及介质。

背景技术

随着网络模型的深度和宽度的增加，网络模型在训练过程中的预测准确率逐步提升，而网络模型输出的后验概率，即置信度也逐步随之增长，如网络模型预测样本的类别时，输出的后验概率大多在90%以上。

然而，网络模型在实际的应用中或在验证集进行验证时，大多检测目标的置信度都很高，普遍超过90%，只有较少检测目标的置信度落入10%~90%之间，但整体检测目标对应的预测准确率却很低，即网络模型存在“盲目自信”的情况。

发明内容

有鉴于此，本发明提供一种融合后验概率校准的模型训练方法、装置、设备及介质，用于改善模型的预测准确率与置信度不匹配，从而出现“盲目自信”的现状。

第一方面，本发明实施例提供一种融合后验概率校准的模型训练方法包括：

将训练集中第一预设数量的样本输入至预设的分类模型，得到每个样本的预测类别和预测后验概率，其中，训练集包括每个样本的真实类别，预测后验概率表示分类模型预测样本为预测类别的概率；

根据每个样本的预测后验概率，将第一预设数量的样本划分至第二预设数量的概率区间中；

统计每个概率区间内每种预测类别的样本的数量，及每个概率区间内每种预测类别的所有样本中预测正确的样本的数量，得到每个概率区间内每种预测类别的样本对应的经验后验概率，其中，经验后验概率表示每个概率区间内每种预测类别的所有样本中预测正确的样本的占比；

根据每个样本对应的预测后验概率和经验后验概率，利用第一预设算式计算第一预设数量的样本对应的概率损失值，并根据概率损失值训练分类模型。

可选的，在本发明实施例提供的一种实施方式中，第一预设算式包括：

式中，L_cal表示概率损失值，n表示第一预设数量，k表示真实类别的数量，表示预测后验概率，表示经验后验概率。

可选的，在本发明实施例提供的一种实施方式中，还包括：

根据每个样本的真实类别、预测类别及预测后验概率，利用第二预设算式计算第一预设数量的样本对应的分类损失值；

根据概率损失值训练分类模型，包括：

根据分类损失值和概率损失值训练分类模型。

进一步的，在本发明实施例提供的一种实施方式中，第二预设算式包括：