[发明专利]一种基于声纹比对和生成对抗网络的语音增强方法

说明书

本发明公开一种基于声纹比对和生成对抗网络的语音增强方法，1）建立三个语音数据库,分别对应声纹识别编码器、噪声分离系统和语音分离系统；2）训练声纹识别编码器提取目标说话者的声纹特征，得目标声纹特征；3）将带噪音频转化成语谱图送入噪声分离系统中的生成器中，得预测干净音频；4）将预测干净音频和真实干净音频送入噪声分离系统中的鉴别器训练；5）调整鉴别器权重参数，使鉴别器更好地分辨出真实干净音频和预测干净音频的区别，得到产生近乎真实的干净音频的生成器；6）将说话者的声音送入已经训练好的生成器中，生成预测干净语谱图，得到增强的语音信号。该方法规模小、计算低、易于移植、保持一定的空间不变性且去噪效果好。

技术领域

本发明涉及语音增强技术领域，具体是一种基于声纹比对和生成对抗网络的语音增强方法。

背景技术

随着社会的发展，电子产品的普及，人们对语音质量的要求越来越高。如何提高电子产品在嘈杂环境下的移动通信质量已经成为当下最热门的研究方向。而语音增强可以提高噪声环境下语音的质量和可理解性，语音增强不仅在助听器和人工耳蜗领域有着重要的应用，而且已成功应用于语音识别和说话人识别系统中的预处理阶段。

经典的语音增强的方法有谱减法、维纳滤波、基于统计模型的方法和子空间算法。自80年代以来，神经网络也被应用于语音增强。近些年，去噪自编码架构已被广泛采用。例如，循环去噪自编码在对音频信号上下文信息的处理上表现良好。最近长短期记忆网络也被应用于去噪任务。尽管上述这些方法都可以取得不错的效果，但是却需要大量的数据和计算量，难以移植到嵌入式设备。而且，这些方法往往依赖于训练集，输出的干净音频是基于训练集输出干净音频的平均值，会比较模糊，对细节的处理并不尽如人意。

发明内容

本发明的目的在于克服现有技术的不足，而提供一种基于声纹比对和生成对抗网络的语音增强方法，该方法规模小、计算更低、易于移植、保持一定的空间不变性且去噪效果好。

实现本发明目的的技术方案是：

一种基于声纹比对和生成对抗网络的语音增强方法，包括如下步骤：

1)建立三个语音数据库,分别对应声纹识别编码器、噪声分离系统和语音分离系统；

2)训练声纹识别编码器提取目标说话者的声纹特征，得到目标声纹特征；

3)将带噪的音频转化成语谱图送入噪声分离系统中的生成器中，生成器根据声纹识别编码器提取的目标声纹特征分离出目标说话者的声音，得到预测干净音频；

4)将步骤3)得到的预测干净音频和步骤1)语音分离系统中真实干净音频送入噪声分离系统中的鉴别器进行训练,使鉴别器分辨出说话者的声音通过噪声分离系统所生成的预测语谱图是否符合真实音频的分布；

5)调整鉴别器权重参数，使鉴别器更好地分辨出真实干净音频和生成器产生的预测干净音频的区别，根据鉴别器区分结果更新生成器的权重参数，直至鉴别器分辨不出生成器产生的预测音频和真实的干净音频的区别，得到可以产生近乎真实的干净音频的生成器；

6)通过传声器收集说话者的声音，经短时傅里叶变换转化成语谱图送入已经训练好的生成器中，生成预测干净语谱图，再通过反短时傅里叶变换转化成语音模拟信号，语音模拟信号经扬声器播放出来，即得到增强的语音信号。

所述的声纹识别编码器为2000NISI Speaker Recongnition Evaluation语音库的声纹识别编码器；所述的噪声分离系统为100-nonspeech噪音库的噪声分离系统；所述的语音分离系统为TIMIT语音库的语音分离系统。