[发明专利]面向语音识别系统黑盒攻击模型的防御方法及防御装置

说明书

本发明公开了一种针对语音识别系统黑盒攻击模型的防御方法以及防御装置。该防御方法利用对原始音频添加模拟环境噪声，模拟现实场景下的语音输入情况，随机添加噪声后形成初代对抗样本，通过遗传算法和梯度估计对对抗样本进行优化，获得精确对抗样本，然后将原始音频文件和对抗样本混合，作为对抗训练的训练数据集，对模型进行在训练，提高了模型对对抗样本的识别准确率，从而提高了模型对于对抗攻击的鲁棒性。

技术领域

本发明属于深度学习安全技术领域，具体涉及一种面向语音识别系统黑盒攻击模型的防御方法及防御装置。

背景技术

随着技术的发展，现代的语音识别技术的目标转变为教会机器准确识别听到的语音，并按照语音的内容正确的执行指令。语音识别技术简化了人与机器之间的通信，省略了中间键盘控制和手写的步骤，它使得人们在进行语音控制的同时，手或眼也能进行其他操作。这些优点使得自动语音识别系统在从国防、医疗到智能驾驶等各个领域得到了广泛的应用。例如在国防领域，自动语音识别系统通过语音命令提供选定的驾驶舱控制，避免飞行员因选定的人工任务而分心。在医疗领域，人们利用语音识别技术帮助有显著发声障碍的患者的语言表达。在智能家居领域，基于语音的界面早已广泛应用于家庭自动化，人们可以通过语音识别技术实现家电的唤醒及控制。

近些年来，深度学习的应用给语音识别系统带来更简单的训练步骤，更高的识别正确率的同时，也给系统的安全性带来了潜在的风险。最近的研究表明深度神经网络容易受到对输入数据进行细微扰动形式的对抗攻击。这种做法会导致模型输出不正确的预测结果。这就会造成一些严重的事故。例如，语音识别系统作为自动驾驶技术的重要组成部分，如果深度语音识别系统被外加的细微扰动所攻击，汽车可能会错误的识别乘客的指令，这给自动驾驶系统带来了极大的安全隐患。若一个语音命令被错误的识别并执行，极有可能引发交通事故，造成人员的伤亡和交通的瘫痪。

目前在攻防方面，大部分的研究集中在图像领域，对于语音识别的攻防少有人研究。浙江大学的纪守领，杜天宇等人的针对白盒场景的对抗音频生成方法及系统的专利，提出了在白盒场景下，利用粒子群优化算法模块寻找最佳噪音，生成对抗样本的方法。但是，在现实生活的应用中，模型的参数结构通常是无法获取的，黑盒情况下的精确对抗样本的生成要比白盒情况下困难很多。

发明内容

为了提高语音识别系统的防御能力和识别精度，本发明提供了一种面向语音识别系统黑盒攻击模型的防御方法及防御装置。

为实现上述发明目的，本发明提供了一种面向语音识别系统黑盒攻击模型的防御方法，包括以下步骤：

(1)获取原始音频文件，利用基于深度学习的语音识别模型对原始音频文件进行筛选，获得能够被正确识别的音频文件，作为原始样本，在原始样本中添加模拟环境噪声后，复制原始样本到设定种群数量；

(2)在步骤(1)的基础上，对原始样本添加随机噪声以进行变异形成初代对抗样本；

(3)以对抗样本的解码短语与目标短语的相似度作为评价函数的选择依据，当相似度小于0.5时，以CTC损失函数作为评价函数，当相似度大于0.5时，以CTC损失函数和对抗样本的解码短语和目标短语的Levenshtein距离作为评价函数，利用遗传算法对对抗样本进行优化迭代，直至Levenshtein距离小于2为止获得接近目标短语的对抗样本；

(4)当Levenshtein距离小于2时，利用梯度估计的方法替换遗传算法对对抗样本进行优化，获得精确对抗样本；

(5)利用原始样本和精确对抗样本对所述语音识别模型重训练进行优化，获得能够防御对抗攻击的语音识别模型。

(6)利用能够防御对抗攻击的语音识别模型对待识别音频文件进行识别，以防御对待识别音频文件的对抗攻击。