[发明专利]一种基于相似字典的文本攻击方法、装置及存储介质

说明书

本发明公开了一种基于相似字典的文本攻击方法，步骤包括：获取作为神经网络输入数据的原始文本；确定在所述原始文本中需要修改的单词；在字典中选出与所述需要修改的单词相似的替代单词；在所述原始文本中将所述需要修改的单词修改成替代单词，以生成对抗样本文本。本发明提供了一种基于相似字典的文本攻击方法、装置及存储介质，在不影响人阅读的前提下，通过添加较小的对抗扰动，影响神经网络模型的输出结果。

技术领域

本发明涉及机器学习、自然语言处理以及文本分类技术领域，尤其是涉及一种基于相似字典的文本攻击方法、装置及存储介质。

背景技术

自然语言处理，计算机接受用户以自然语言形式输入，并在内部通过人类所定义的算法进行处理，以模拟人类对自然语言的理解，并返回用户所期望的结果。其目的在于用计算机代替人工来处理大规模的自然语言信息。

而随着深度学习技术的快速发展，大幅提升了对众多自然语言处理任务(比如文本分类，机器翻译等)的工作能力，越来越多的深度学习模型被用于现实生活中。但是深度学习模型本质上的黑箱属性，也为实际应用带来了潜在的风险。

目前有学者研究发现，只要对深度学习模型的输入添加一些微小的扰动就能轻易改变模型的预测结果。后续的研究将该种扰动称之为对抗扰动，扰动后的输入称为对抗样本，将输入对抗样本误导模型的这一过程称为对抗攻击。自然语言处理的应用比如文本分类、情感分类、问答系统、推荐系统等也都会受到了对抗攻击的影响。

虽然当前已有生成基于嵌入向量生成文本对抗样本的方法，但是现有技术仍然有未解决的技术问题。例如，基于可解释性对抗文本的对抗训练方法(申请号201910729584.9)该方法通过生成对抗样本的模型来学习添加的扰动的方向向量，这会导致整个句子的结构发生较大的改变，而结构改变也会导致文本的语义发生巨大的变化，这也违背了在生成对抗样本时所添加的扰动必须相对较小的原则；另外，在论文HotFlip:White-Box Adversarial Examples for Text Classification(Ebrahimi,J.,Rao,A.,Lowd,D.,Dou,D.(2018).meeting of the association for computationallinguistics)中，该技术方案虽然满足添加的扰动必须小的原则，但是该方案修改文本后出现拼写错误的单词，影响阅读。

发明内容

针对上述技术问题，本发明提供了一种基于相似字典的文本攻击方法、装置及存储介质，在不影响人阅读的前提下，通过添加较小的对抗扰动，影响神经网络模型的输出结果。所述技术方案如下：

第一方面，本发明实施例提供了一种基于相似字典的文本攻击方法，步骤包括：

获取作为神经网络输入数据的原始文本；

确定在所述原始文本中需要修改的单词；

在字典中选出与所述需要修改的单词相似的替代单词；

在所述原始文本中将所述需要修改的单词修改成替代单词，以生成对抗样本文本。

在本发明第一方面的第一种可能的实现方式中，所述确定在所述原始文本中需要修改的单词，具体为：

将所述原始文本的某一单词替换成另一个拼写相似的单词，以生成修改文本；

将所述原始文本和所述修改文本分别输入至神经网络进行计算；

通过比较所述原始文本和所述修改文本的计算结果确定两者的相似度；

对应所述原始文本的每一个单词生成若干修改文本，将相似度最低的修改文本对应的单词确定为需要修改的单词。

在本发明第一方面的第二种可能的实现方式中，所述通过比较所述原始文本和所述修改文本的计算结果确定两者的相似度，通过以下方式计算：