[发明专利]一种基于迁移训练的声纹识别中毒样本生成方法

权利要求书

1.一种基于迁移训练的声纹识别中毒样本生成方法，其特征在于，所述方法包括以下步骤：

(1)对语音数据集预处理：对于每一段语音采用傅里叶变换将其转化为频谱，再通过图像的形式保存为语谱图；

(2)搭建声纹识别模型：预先确定声纹识别模型的结构，层数以及各层的参数且不再变化，指定用来训练该模型的数据集，即语音样本，分别给这些样本标注身份标签并输入模型训练，数据集中的样本应以高准确度被正确预测；

(3)获得迁移训练任务数据集的特征表示空间：将新任务数据集输入到预训练的声纹识别模型中，只取softmax之前层的输出，即样本的特征表示空间，该空间的维度由构建模型时定义；

(4)从测试集中选择目标样本与基样本：先指定需要攻击的目标样本，再选择需要攻击的类别，从该类别中选择特征表示空间最接近目标的一个样本，将其视为基样本；

(5)利用优化算法生成中毒样本：以基样本为起始点，利用Adam优化算法与后向步骤进行迭代生成中毒样本，每次迭代过程中通过预训练声纹识别模型更新特征表示空间，最终使目标样本与中毒样本特征表示空间无限接近，但输入空间几乎不改变；

(6)将中毒样本加入到原训练集中进行迁移训练：在不改变原模型权重的情况下，只重新训练替换的softmax层适用当前分类任务，训练集为原训练集加上一个中毒样本，在测试阶段，目标样本将会被误分类为基样本的标签。

2.如权利要求1所述的一种基于迁移训练的声纹识别中毒样本生成方法，其特征在于，所述步骤(1)的步骤如下：

(1.1)：分帧，语音信号中的频率随时间而变化，是个非平稳态过程，所以在大多数情况下，对整个信号进行傅立叶变换是没有意义的，随着时间的推移会丢失信号的频率轮廓，为了避免这种情况，需要进行分帧操作，把每一帧当成平稳信号处理，通过连接相邻帧来获得信号频率轮廓的良好近似，将N个采样点集合成一个观测单位，称为帧，长度为T_total的语音信号分帧公式如下：

u＝H[(T_total-t_overlap)/t_inc] (1)

t_overlap＝t_s-t_inc (2)

其中u表示帧的数量，t_s表示每帧涵盖的时间，t_inc表示后一帧对前一帧的位移量，简称帧移，t_overlap表示相邻两帧间的重叠部分，用来避免相邻两帧的变化过大，保持语音信息的完整性，H(.)表示取整函数，第i帧语音信号表示为S_i(n),n＝0,1,2,…,N-1，这里0≤i≤u；

(1.2)：加窗，为了增加每一帧左端与右端的连续性，需要对帧进行加窗处理，通过一个窗函数使原本没有周期性的语音信号呈现周期函数的部分特征，采用汉明窗，某一帧乘上汉明窗后信号为S′_i(n):

S′_i(n)＝S_i(n)×W(n) (3)

W(n)＝0.54-0.46cos[2πn/(N-1)],0≤n≤N-1 (4)

(1.3)：提取语音频谱图：对语音信号从时域转换到频域处理，将每一帧采用短时傅里叶变换得到在频谱上的能量分布，公式如下

其中S′_i(n)是输入的语音信号，k表示频率点，N表示傅里叶变换的点数，与变换后频率点的总个数相同，取每一帧采样点的数量，X_i(k)代表第i帧的频谱，表示频率与能量的关系；将频谱转换为对数功率谱：

X′_i(k)＝10log₁₀|X_i(k)|² (6)

将每一帧的对数功率谱求转置矩阵后映射到一个灰度级表示：

其中X′_i(k)＝[X′_i(1),X′_i(2),...,X′_i(N)]，Y_i表示第i帧的灰度矩阵，最后将每一帧的灰度级表示在时间轴上拼凑起来得到语谱图，起到用二维表示三维的作用，公式如下：

Y_gray＝[Y₁,Y₂,...,Y_u] (8)

此处Y_gray表示灰度语谱图，最后将其进行彩色映射Y＝RGB(Y_gray)变为彩色语谱图Y。