[发明专利]一种基于萤火虫算法的深度学习模型对抗训练方法

说明书

本发明针对已有的深度学习模型易受对抗攻击干扰的问题，考虑目前存在的基于深度学习的文本相似度处理方法存在鲁棒性差、对抗训练开销大等问题，提出基于启发式算法的对抗训练方法并用于文本相似度分析模型。出于对深度学习模型上普遍缺乏对于安全性方面的考虑。且深度学习模型本身容易受到对抗攻击，存在安全隐患。本发明结合基于深度学习模型的文本相似度分析模型，针对模型易受到对抗攻击干扰的问题，讨论对抗性训练方法的新型研究思路与方向。本发明提出一种基于萤火虫算法的对抗文本生成方法以及对抗训练方案。该方案具有较低的时间复杂度，并在线性时间复杂度内实现文本生成，实现在掩盖一些数据的敏感特性的同时，达到保证文本相似度分析模型的准确度的效果。将所提出方案应用于基于卷积神经网络的文本相似度分析模型中，有效提高模型的鲁棒性和抵御攻击的能力。

技术领域

本发明涉及适用于文本相似度分析模型的对抗文本生成方法，特别涉及一种基于萤火虫算法的对抗文本生成方法。

背景技术

进入互联网时代，海量的文本信息以电子化的形式在网络上积累。购物软件中的评价信息，社交软件上的实时观点等，都蕴含着丰富的信息，对于软件开发人员、舆情研究人员等来说，它们的具有极高的参考价值和意义。这些文本信息的表达形式大多使用的是自然语言。这些信息中都蕴含着大量的价值。随着人工智能技术的发展，网络上海量的数据开始变得清晰明了。随着前沿算法的不断突破，促进了人工智能技术的发展，并且在某些场景下已初现成果，尤其是在一些特定得领域，比如计算机视觉，大数据分析等。计算机视觉和大数据在分析处理图片，视频和数字的同时自然语言处理的研究者们也在为分析网络上海量的自然语言而努力。

自然语言处理主要任务就是对文本，语句等进行分类，提取，推测。根据具体任务的不同，自然语言处理还可以分为自动文本摘要，机器翻译，文本分类等任务，这些任务的完成都是建立在句子相似度分析模型的基础之上的。无论是长篇的文章，还是篇幅较短的新闻资讯，还是简短的购物评价，这些内容从理解的层面上来看都是以句子来划分的。同时，根据人们的交流习惯和阅读习惯也是以句子作为基本的单位。由此可见句子相似度分析任务的重要性。它虽然是自然语言处理的一项基础性任务，但它对整个自然语言处理领域的发展至关重要。

近年来，随着人工智能技术的迅速发展，深度学习模型被应用到句子相似度分析任务中。尤其以卷积神将网络为代表，作为深度学习网络一种主要的网络结构，在图像识别等领域表现出了较好的效果。卷积神经网络也已经被各路学者应用于自然语言处理任务中。然而，深度学习模型因为其自身特性存在着严重的安全隐患：攻击者可以通过给良性样本添加特定噪声而轻易地欺骗深度学习模型，并且通常不会被人发现。攻击者利用人的视觉/听觉无法感知的扰动，足以使正常训练的模型输出置信度很高的错误预测，研究者将这种现象叫做对抗攻击。目前针对对抗攻击的抵御方案主要是基于生成式对抗网络(Generative Adversarial Network,GAN)。但基于GAN的防御策略通常依赖于判别器和生成器之间的对抗和迭代，其时间复杂度以及计算开销较大。此外，这种从原始GAN产生反采样的方法仍然存在一些尚未解决的问题。例如，在某些情况下，GAN的鉴别器非常强，以至于计算的生成样本损失值为零，导致生成的样本与初始样本相差太大。此外，当处理离散数据，尤其是文本数据时，GAN的性能会显著下降。

综上所述，目前基于深度学习的文本相似度处理方法存在如下问题：

(1)深度学习模型上普遍缺乏对于安全性方面的考虑。并且深度学习模型本身容易受到对抗攻击，存在安全隐患。

(2)深度学习模型在收到对抗攻击时，对抗样本会控制深度学习模型的判断结果，进而影响模型的决策。

(3)目前，针对防御对抗攻击的对抗性训练方法大多依赖于GAN，训练周期长，成本高，且其对于文本数据的处理性能会显著下降。

发明内容