[发明专利]基于因果的模型双重检查方法、系统、设备及存储介质

说明书

本发明公开了一种基于因果的模型双重检查方法、系统、设备及存储介质，可以准确的评估模型推理结果(分类预测结果)是否可靠，同时，在认定推理结果不可靠时，可以结合评估出的一致性结果对模型的推理结果进行有效进行修正，本发明对于各种分类模型均有效，且对干扰的鲁棒性更强。

技术领域

本发明涉及机器学习和因果推理领域技术领域，尤其涉及一种基于因果的模型双重检查方法、系统、设备及存储介质。

背景技术

深度学习在近十年内飞速发展，神经网络模型在视觉，自然语言和推荐系统等场景得到了广泛的应用。现有的应用中，模型通常是在线上训练好，然后直接部署于线下的测试场景中。此时模型往往会不加区分地处理各种数据，但它对难样本的推理结果往往是不可靠的。为了解决模型过于简单的单通推理过程(即对每个数据只通过一次前向传播)导致的在难样本上性能骤降的问题，现有的研究从模型的后处理技术以及因果推断等角度进行了探索。

后处理通常基于启发式的策略。一些研究利用集成学习的方式来整合多个模型的预测，但难样本往往会让大部分模型给出的预测结果均置信度较低，最终使集成的效果不理想。有些研究则在特定的问题上基于领域知识来人为设计规则用以检查模型预测结果，但这些方法往往难以迁移到其他场景中。

为了让模型更好的处理难样本，基于因果的视角来改善训练数据或者训练方案的研究近来得到较多的关注。一些研究从数据角度出发，认为模型性能下降是因为模型没有根据数据中因果稳定的特征来做预测，因此针对训练样本通过修改其中因果的特征来生成反事实样本，并一同用于训练。另外一些研究不仅仅做反事实样本生成，还考虑利用反事实样本来改变训练方案。然而这些方法没有赋予模型反思自身决策结果的能力，因此，如何使模型学会对自身决策结果进行检查和修正(双重检查)是目前亟待解决的技术问题。

发明内容

本发明的目的是提供一种基于因果的模型双重检查方法、系统、设备及存储介质，具备反思推理结果并进行修正的能力。

本发明的目的是通过以下技术方案实现的：

一种基于因果的模型双重检查方法，包括：

将输入样本作为事实样本，通过干预事实样本生成过程中的中介变量，生成每个类别的反事实样本；

获取分类模型对事实样本的分类预测结果，评估所述事实样本与每个类别的反事实样本的一致性，并结合分类预测结果与评估获得的一致性结果检查分类模型的分类预测结果是否可靠；其中，所述分类模型包括图像分类模型与文本分类模型，对于图像分类模型所述输入样本为输入图像，对于文本分类模型，所述输入样本为输入文本；

当分类模型的分类预测结果不可靠时，根据事实样本与每个类别的反事实样本的一致性结果对所述分类预测结果进行修改。

一种基于因果的模型双重检查系统，包括：

反事实生成模型，将输入样本作为事实样本，通过干预事实样本生成过程中的中介变量，生成每个类别的反事实样本；

一致性评估模型，获取分类模型对事实样本的分类预测结果，评估所述事实样本与每个类别的反事实样本的一致性，并结合分类预测结果与评估获得的一致性结果检查分类模型的分类预测结果是否可靠；其中，所述分类模型包括图像分类模型与文本分类模型，对于图像分类模型所述输入样本为输入图像，对于文本分类模型，所述输入样本为输入文本；

修改模型，当分类模型的分类预测结果不可靠时，根据事实样本与每个类别的反事实样本的一致性结果对所述分类预测结果进行修改。

一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。