[发明专利]一种基于深度学习的短时语音说话人识别系统和方法

权利要求书

1.一种基于深度学习的短时语音说话人识别系统，其特征在于，包括说话人语音采集模块、语音识别处理模块、样本数据库、基于时空Transformer的短时语音说话人识别模型、判定打分模块以及结果输出模块，其中：

说话人语音采集模块：用于采集说话人语音，获得原始音频数据；

语音识别处理模块：用于对原始音频数据采用声学特征提取方法进行识别处理，得到说话人语音频谱图，并进行归一化得到的标准的说话人语音频谱图；

样本数据库：用于对基于时空Transformer的短时语音说话人识别模型进行训练，样本数据库中存储有标准的说话人样本语音频谱图以及对应的样本标签；

基于时空Transformer的短时语音说话人识别模型，进一步包括频谱图分割模块以及时空特征融合模块，其中，频谱图分割模块：用于将一张待识别的标准的说话人语音频谱图进行切片处理，得到一系列时间特征小片和空间特征小片；时空特征融合模块：用于将时间特征小片和空间特征小片进行特征融合，得到说话人的验证语音的深度嵌入或者说话人的注册语音的深度嵌入；

判定打分模块：用于将说话人的验证语音的深度嵌入与目标说话人的注册语音的深度嵌入进行相似度比较，并进行打分判断；

结果输出模块：用于对利用说话人语音采集模块实时输入语音的说话人的身份进行结果输出，输出所对应的目标说话人以及打分结果。

2.如权利要求1所述的一种基于深度学习的短时语音说话人识别系统，其特征在于，所述结果输出模块信号连接有显示屏和/或打印机，利用显示屏和/或打印机进行结果输出。

3.一种基于深度学习的短时语音说话人识别方法，采用权利要求1至3中任意一项所述的短时语音说话人识别系统，其特征在于，包括以下步骤：

步骤1、用户进行注册时，利用所述说话人语音采集模块、所述语音识别处理模块以及所述基于时空Transformer的短时语音说话人识别模型获得用户的注册语音的深度嵌入，并将注册语音的深度嵌入与用户身份绑定；

步骤2、对当前说话人进行识别时，通过所述说话人语音采集模块采集当前说话人的原始音频数据；

步骤3、由所述语音识别处理模块基于原始音频数据提取标准的说话人语音频谱图；

步骤4、将标准的说话人语音频谱图输入训练后的基于时空Transformer的短时语音说话人识别模型，该短时语音说话人识别模型对输入的说话人语音频谱图采用以下步骤进行处理：

步骤401、将输入的说话人语音频谱图分割为大小为M×N大小的方形子集图像；

步骤402、直接切分得到的子集图像作为时间特征小片，将时间特征小片进行转置后得到空间特征小片；

步骤403、将时间特征小片和空间特征小片输入到时空特征融合模块中，时空特征融合模块对时间特征小片和空间特征小片的处理过程具体包括以下步骤

步骤4031、经过动态卷积层提取时间特征小片和空间特征小片的token；

步骤4032、为每个token添加位置编码；

步骤4033、将添加位置编码的token送入N层的Transformer模块中，分别经过归一化层、多头注意力层和前向传播层得到时间深度嵌入和空间深度嵌入；

步骤4034、将得到时间深度嵌入和空间深度嵌入进行嵌入融合，从而获得说话人的验证语音的深度嵌入或者获得说话人的注册语音的深度嵌入；

步骤5、将当前说话人的验证语音的深度嵌入与目标说话人的注册语音的深度嵌入进行相似度比较，并打分；

步骤6、输出目标说话人身份以及所对应的打分结果。