[发明专利]一种基于PSO算法的语音识别攻击防御方法

说明书

一种基于PSO算法的语音识别攻击防御方法，包括：(1)准备原始音频数据集，分成预训练数据集、测试数据集和用于生成对抗样本的扰动数据集；(2)训练语音识别模型：搭建语音识别模型并初始化模型的相关参数，利用预训练数据集对语音识别模型进行训练，并使用测试数据集测试模型的识别准确率；(3)攻击语音识别模型：搭建基于PSO算法的攻击方法，设置适应度函数及PSO算法的相关参数，利用该攻击方法生成的最优对抗样本能够被错误识别且不被人耳识别；(4)对抗训练语音识别模型：将步骤(3)中生成的对抗样本加入预训练数据集中，重新训练语音识别模型，使得语音识别模型具有防御对抗样本攻击的能力，提高模型的安全性和稳定性。

技术领域

本发明涉及一种基于PSO算法的语音识别攻击防御方法。

背景技术

随着近年来机器学习的快速发展，语音识别技术逐渐成为人们生活中的关键技术之一。智能设备通过对输入的语音音频提取相关信息并加以处理，可以转录处正确的文字内容，甚至实现和人们的交流互动。随着研究者的不懈努力，语音识别技术逐渐走向成熟，识别精度不断提高，应用范围也不断扩大，为人们的生产生活带来了极大的便利。然而最新的科学研究表明，基于深度学习的语音识别模型存在一定的缺陷，容易受到对抗样本的干扰。攻击者通过在原始音频中添加经过精心计算后的微小扰动，使得语音识别模型转录成错误的短语，而这种扰动通常是人耳所不能察觉的。在现实生活场景中，这些扰动可能让语音识别系统转录成与原始音频截然不同的短语，使得被控制的设备做出错误的操作，极有可能造成隐私的泄露或者带来安全威胁。

目前已有的语音识别攻击方法主要分为白盒和黑盒攻击。白盒攻击方法在已知模型内部参数的情况下，在原始音频矩阵上添加扰动使得生成的对抗样本转录为目标短语。已有的黑盒语音识别攻击方法，在未知模型内部参数的情况下也能够获得很好的攻击效果。多目标遗传优化的攻击方法通过设定初始种群并评估种群中每个个体的适应度，选择适应度较高的个体直接遗传到下一代或通过交叉配对产生新的个体再遗传到下一代，淘汰不符合要求的个体并随机产生变异，不断迭代优化并搜索找到满足条件的最优个体。

语音识别防御方法主要有检测对抗样本、对抗训练等。对抗样本检测方法通过找到对抗样本的特征从而实现检测，并拒绝识别检测到的对抗样本，避免识别系统受到对抗样本的攻击。对抗训练方法将生成的对抗样本加入预训练数据集中重新训练语音识别模型，从而提高语音识别模型的安全性。

鉴于语音识别技术存在上述的安全威胁，研究一种基于PSO优化算法的黑盒语音识别模型的攻击方法，通过该方法生成对抗样本，并将生成的对抗样本加入预训练数据集中对抗训练语音识别模型，使得模型能够有效防御对抗样本。

发明内容

针对现有技术的语音识别模型存在的容易受到对抗攻击的安全性问题，本发明提供了一种基于PSO算法的语音识别攻击防御方法，该方法可以高效生成转录错误的对抗音频样本，并通过对抗训练提高模型防御对抗样本的能力。

一种基于PSO算法的语音识别攻击防御方法，包括以下步骤：

(1)准备原始音频数据集：采集多种不同场景下的多种类音频并进行预处理，分成预训练数据集、测试数据集和用于生成对抗样本的扰动数据集，其具体过程如下：

Step11:采集多种场景下的多种类音频，包括人说话的声音、音乐声真实生活场景中的声音，其中人说话的内容包括文章朗读片段、各种指示指令等，音频采集环境包含安静环境和嘈杂环境，嘈杂环境中有汽车鸣笛声、音乐声、人说话声音的干扰，干扰的影响有限，能够使人类清晰识别出说话者的说话内容。

Step12：将上述采集的音频进行裁剪并处理成数据流格式的音频文件，对每个音频都添加相应的标签；

Step13：将预处理后的音频分成预训练数据集、测试数据集和用于生成对抗样本的扰动数据集；