[发明专利]基于深度学习的文本相关声纹生物密钥生成方法

权利要求书

1.基于深度学习的文本相关声纹生物密钥生成方法，其特征在于包括声纹生物密钥训练部分和声纹生物密钥提取部分；

所述声纹生物密钥训练部分具体步骤为：

步骤(1)、获取文本相关内容的纯净训练语音数据；

步骤(2)、对步骤(1)纯净训练语音数据进行第1阶段预处理，具体是对步骤(1)纯净训练语音数据提取MFCC系数，并利用上述MFCC系数进行混合数为N的高斯混合模型训练；

所述高斯混合模型由N个高维高斯分布组成；每一个高斯分布的均值向量组成N×nx维的矩阵，将N×nx维的矩阵归一化至取值为[0,255]的图像灰度矩阵，即声纹特征图像1，其中nx为MFCC系数个数；

高斯混合模型对应每一个高维高斯分布有一个权值，组合在一起为1×N维的权值向量λ；同时在用户端存储λ；

步骤(3)、对步骤(1)纯净训练语音数据进行第2阶段预处理，具体是对步骤(1)纯净训练语音数据生成文本相关声纹语谱图，并对上述文本相关声纹语谱图进行盲对齐与统一图像尺寸操作，获得声纹特征图像2；

步骤(4)、将声纹特征图像1、2进行拼接，获得声纹特征图像3；基于声纹特征图像3构建声纹密钥深度神经网络训练集合L1；

步骤(5)、构造声纹密钥深度神经网络，并利用训练集合L1进行训练

所述的声纹密钥深度神经网络包括依次级联的声纹稳定特征提取器、声纹生物密钥稳定器、声纹生物密钥提取器；

5-1构造声纹稳定特征提取器M1，其输入为训练集合L1中声纹特征图像3，输出为声纹特征图像4；

5-2构造声纹生物密钥稳定器M2，其输入为声纹稳定特征提取器M1输出的声纹特征图像4，输出为声纹生物特征序列L2；

5-3构造声纹生物密钥提取器M3，其输入为声纹生物密钥稳定器M2输出的声纹生物特征序列L2，输出为声纹生物密钥；

声纹稳定特征提取器M1包括深度神经网络学习模型、声纹稳定特征选择器；

所述的深度神经网络学习模型采用现有ResNet或DenseNet模型，在模型经训练集L1训练稳定后，移除全连接层，用声纹稳定特征选择器替换全连接层；

所述的声纹稳定特征选择器M1用于从深度神经网络学习模型输出的所有特征图，选择拼接为一张输出特征图；

将训练集L1中基于声纹特征图像3经深度神经网络学习模型、声纹稳定特征选择器处理后得到的输出特征图组成集合U，其中图片集为U＝(U₁,U₂,...,U_i,...,U_n1)，U_i为单张输出特征图，n1为输出特征图的数量，所有图片大小均相同；像素点集p_i,j表示第i张特征图中第j个位置的单个像素点，每张特征图有m1个像素点，共n1×m1个像素点；然后从像素点集P中选出取值更趋稳定的像素点集P'，由像素点集P'整理为声纹特征图像4：

所述从像素点集P中选出取值更趋稳定的像素点集P'具体是：

a)根据公式(1)获得特征图U_i在j位置处的像素值p_i,j的绝对误差R(p_i,j)，如果R(p_i,j)＜β1则将像素位置(i,j)存入队列，反之判断像素位置(i,j)是否已存在于队列中，若存在于队列中则执行步骤b)；若不存在于队列中，则将像素位置(i,j)加入队列，并计算队列中所有像素点值的方差δ，若δ≥β2，则将像素位置(i,j)从队列中删除，则执行步骤b)；

b)继续遍历i、j，选择一个新的像素点位置，返回步骤a)；直至i＝n1,j＝m1时迭代结束，将队列中存放的所有像素位置对应的像素点组成像素点集P'；

其中为像素点集P中j列的所有像素点的均值，p_i,j表示特征图U_i在j位置处的像素值，β1、β2均为人为定义的阈值；

声纹生物密钥稳定器M2以具备编码-解码以及跳跃连接结构特点的Unet网络模型为基础，模型的基本构造为多层编码-解码模块的堆叠，编码采用卷积加下采样操作，解码采用上采样加卷积操作；

声纹生物密钥提取器M3采用模糊提取器提取声纹生物密钥。

2.根据权利要求1所述的基于深度学习的文本相关声纹生物密钥生成方法，其特征在于Unet网络的跳跃连接采用神经连接控制NCC结构。