[发明专利]基于因果的模型双重检查方法、系统、设备及存储介质

权利要求书

1.一种基于因果的模型双重检查方法，其特征在于，包括：

将输入样本作为事实样本，通过干预事实样本生成过程中的中介变量，生成每个类别的反事实样本；

获取分类模型对事实样本的分类预测结果，评估所述事实样本与每个类别的反事实样本的一致性，并结合分类预测结果与评估获得的一致性结果检查分类模型的分类预测结果是否可靠；其中，所述分类模型包括图像分类模型与文本分类模型，对于图像分类模型所述输入样本为输入图像，对于文本分类模型，所述输入样本为输入文本；

当分类模型的分类预测结果不可靠时，根据事实样本与每个类别的反事实样本的一致性结果对所述分类预测结果进行修改。

2.根据权利要求1所述的一种基于因果的模型双重检查方法，其特征在于，所述通过干预事实样本生成过程中的中介变量，生成每个类别的反事实样本包括：

所述事实样本生成过程中包含多个中介变量，从中选取指定中介变量，并将其取值由T改为其他取值T_y，并通过下述方式生成反事实样本的特征

其中，X与Y为随机变量，分别表示样本特征和类别，x表示事实样本的特征，表示假设类别Y等于真实类别时的样本特征，表示真实类别为时指定中介变量的取值，为事实样本的指定中介变量的取值，代表将指定中介变量的取值T改为其他取值T_y后得到的反事实样本特征，E表示期望，y为假设的反事实样本的类别，y∈[1,C]，C为类别数目，表示类别为y的反事实样本的特征。

3.根据权利要求1所述的一种基于因果的模型双重检查方法，其特征在于，所述评估所述事实样本与每个类别的反事实样本的一致性包括：

设置孪生子网络，通过所述孪生子网络评估所述事实样本与每个类别的反事实样本的一致性，评估一致性时，带入各样本的特征进行计算；定义一个搜索任务来训练所述孪生子网络，将事实样本的特征x设为搜索对象，将所有反事实样本的特征划分为正负样本，y表示一个类别，C为类别数目；正样本为与事实样本的特征x类别相同的反事实样本的特征即将正样本记为为事实样本的真实类别，为分类预测结果中概率最高的类别；负样本为其他类别的反事实样本的特征即y′为负样本的类别。

4.根据权利要求3所述的一种基于因果的模型双重检查方法，其特征在于，孪生子网络的训练损失为如下三元损失函数：

其中，表示训练后的孪生子网络的参数；表示事实样本的特征x与负样本的一致性结果，表示事实样本的特征x与正样本的一致性结果，α为设定的超参数。

5.根据权利要求1所述的一种基于因果的模型双重检查方法，其特征在于，所述结合分类预测结果与评估获得的一致性结果检查分类模型的分类预测结果是否可靠表示为：

其中，表示对比可信度，δ为克罗内克函数，仅当括号中的两个参数相同时等于1，否则为0；表示事实样本x与反事实样本的一致性结果，y∈[1,C]，y表示一个类别，C为类别数目；表示输出一致性结果最高的反事实样本对应的类别；为分类预测结果中概率最高的类别；

若则表示分类模型的分类预测结果可靠；若则表示分类模型的分类预测结果不可靠。

6.根据权利要求1所述的一种基于因果的模型双重检查方法，其特征在于，将根据事实样本与每个类别的反事实样本的一致性结果对所述分类预测结果进行修改包括：

设置一个修改模型，其输入为所述分类预测结果，以及事实样本与每个类别的反事实样本的一致性结果；所述修改模型将所述分类预测结果，以及事实样本与每个类别的反事实样本的一致性结果堆叠为矩阵，再根据矩阵中的信息修改所述分类预测结果。