[发明专利]一种基于迁移训练的声纹识别中毒样本生成方法

说明书

一种基于迁移训练的声纹识别中毒样本生成方法，包括以下步骤：(1)对语音数据集预处理；(2)搭建声纹识别模型；(3)获得迁移训练任务数据集的特征表示空间；(4)从测试集中选择目标样本与基样本；(5)利用优化算法生成中毒样本；(6)将中毒样本加入到原训练集中进行迁移训练：在不改变原模型权重的情况下，只重新训练替换的softmax层适用当前分类任务，训练集为原训练集加上一个中毒样本。在测试阶段，目标样本将会被误分类为基样本的标签。本发明使攻击成功率得到极大的提高。

技术领域

本发明涉及一种基于迁移训练的声纹识别中毒样本生成方法，本发明属于深度学习安全领域。

背景技术

深度学习是人工智能最常见的技术之一，在近几年飞速发展，它可以处理许多复杂的任务，包括图像识别、对象检测、语音识别、信号处理等。声纹识别作为目前最成熟的生物特征认证技术之一，基于深度学习的声纹识别技术使其精度得到极大的提高。但事实证明，深度学习模型容易受到攻击，攻击者通过发现模型的弱点并制作出与原始样本不同的对抗样本，从而使训练后的模型无法正确运行，因此针对声纹识别的攻击方法引起了广泛的关注。

目前针对深度学习的攻击可以分为对抗攻击与中毒攻击，对抗攻击即在测试阶段，攻击者通过在原始数据上添加精心设计的微小扰动得到对抗样本,对深度学习模型进行愚弄,使其以较高置信度误判输入，是以往研究的重点，但在实际某些情况下，攻击者因为没有权限而很难在测试阶段对数据进行修改，因而这种攻击存在明显的弊端。中毒攻击发生在模型训练阶段，一般通过将制作的中毒样本加入到原训练集中，从而在训练完成的深度学习模型中嵌入后门触发器,在测试阶段输入指定样本,触发毒性爆发。在之前的工作中，中毒攻击通常更改训练数据的部分类标使模型中毒训练，但这样不仅会大幅度降低测试集的精度，也会对指定样本无差别的分类，使得这种攻击方法实用性不高。

发明内容

为了克服现有技术的不足，本发明提出一种基于迁移训练的声纹识别中毒样本生成方法，该方法是针对基于深度学习的声纹识别模型有目标的攻击，将标注正确但经过精细调整的中毒样本加入训练集中，在测试阶段对于指定样本可以使其以很高的置信度分类错误。

本发明解决其技术问题所采用的技术方案是：

一种基于迁移训练的声纹识别中毒样本生成方法，包括以下步骤：

(1)对语音数据集预处理：对于每一段语音采用傅里叶变换将其转化为频谱，再通过图像的形式保存为语谱图；

(2)搭建声纹识别模型：预先确定声纹识别模型的结构，层数以及各层的参数且不再变化。指定用来训练该模型的数据集，即语音样本，分别给这些样本标注身份标签并输入模型训练，数据集中的样本应以高准确度被正确预测；

(3)获得迁移训练任务数据集的特征表示空间：将新任务数据集输入到预训练的声纹识别模型中，只取softmax之前层的输出，即样本的特征表示空间，该空间的维度由构建模型时定义；

(4)从测试集中选择目标样本与基样本：先指定需要攻击的目标样本，再选择需要攻击的类别，从该类别中选择特征表示空间最接近目标的一个样本，将其视为基样本；

(5)利用优化算法生成中毒样本：以基样本为起始点，利用Adam优化算法与后向步骤进行迭代生成中毒样本，每次迭代过程中通过预训练声纹识别模型更新特征表示空间，最终使目标样本与中毒样本特征表示空间无限接近，但输入空间几乎不改变；

(6)将中毒样本加入到原训练集中进行迁移训练：在不改变原模型权重的情况下，只重新训练替换的softmax层适用当前分类任务，训练集为原训练集加上一个中毒样本，在测试阶段，目标样本将会被误分类为基样本的标签。