[发明专利]用于检测后门攻击的方法

说明书

本申请涉及自然语言处理模型安全技术领域，公开一种用于检测后门攻击的方法，包括：根据待检测模型的触发器输入向量和目标标签的CLS特征维度向量获取损失函数；直到损失函数收敛至最小值，将初始后门特征向量对应的后门特征向量确定为目标特征向量；按照初始概率数值对目标特征向量中包括的多个文本向量进行降序排序，将前预设数量的文本向量确定为候选文本向量；获取与各候选文本向量分别对应的候选文本序列；将各候选文本序列输入待检测模型中，获得各候选文本序列分别对应的第一概率数值，在存在大于预设概率数值的第一概率数值的情况下，确定待检测模型已被后门攻击。这样能够更准确的检测出待检测模型是否被后门攻击。

技术领域

本申请涉及自然语言处理模型安全技术领域，例如涉及一种用于检测后门攻击的方法。

背景技术

自然语言处理作为人工智能研究的一个重要领域，已经广泛应用于社会生活和企业应用的各种场景。然而后门攻击的出现对自然语言处理模型的实施产生了严重的威胁。后门攻击是一种针对深度学习模型的攻击方式，即通过添加触发器来修改训练数据或模型结构，更改模型内部的特征空间，从而对模型植入后门。在模型后门被特定输入数据激活的情况下，模型的输出变为攻击者预先指定的标签，进而导致模型在对特定输入数据进行预测时，输出错误的预测结果。因此，在使用模型前对模型进行后门检测就显得尤为重要。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

现有用于后门攻击检测的方法准确度不高

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种用于检测后门攻击的方法，以能够更准确的对待检测模型进行后门攻击检测。

在一些实施例中，所述用于检测后门攻击的方法，包括：获取目标标签的CLS特征维度向量，并根据待检测模型的触发器输入向量和所述目标标签的CLS特征维度向量获取损失函数；根据预设的初始后门特征向量和所述损失函数进行后门特征向量确定操作，直到所述损失函数收敛至最小值，将所述初始后门特征向量对应的后门特征向量确定为目标特征向量；其中，后门特征向量操作包括：获取所述初始后门特征向量对应的若干初始文本向量；将各所述初始文本向量输入待检测模型进行迭代训练，获得各所述初始文本向量分别对应的初始概率数值；根据所述损失函数利用各所述初始概率数值进行计算，直到迭代次数等于预设阈值，获得初始后门特征向量对应的后门特征向量，利用所述初始后门特征向量对应的后门特征向量对所述初始后门特征向量进行替换操作；按照所述初始概率数值对所述目标特征向量中包括的多个文本向量进行降序排序，将前预设数量的文本向量确定为候选文本向量；获取与各所述候选文本向量分别对应的候选文本序列；所述候选文本序列为包括对应的候选文本向量的文本序列；将各所述候选文本序列输入所述待检测模型中，获得各所述候选文本序列分别对应的第一概率数值，所述第一概率数值用于表征候选文本序列包括目标标签的概率；在存在大于预设概率数值的第一概率数值的情况下，确定所述待检测模型已被后门攻击。

本公开实施例提供的用于检测后门攻击的方法，可以实现以下技术效果：通过根据待检测模型的触发器输入向量获取损失函数，然后根据预设的初始后门特征向量和损失函数进行后门特征向量确定操作，从而能够找到触发器输入向量对应的可能后门特征向量，即目标特征向量，然后将目标特征向量中概率数值较大的文本向量确定为候选文本向量，并获取与各候选文本向量分别对应的候选文本序列，然后将各候选文本序列输入待检测模型中，以获得待检测模型被候选文本向量触发，从而输出目标标签的概率。然后在存在大于预设概率数值的第一概率数值的情况下，确定待检测模型已被后门攻击。这样能够更准确的检测出待检测模型是否被后门攻击。