[发明专利]一种基于声学特征转换的语音清晰度增强方法

说明书

本发明公开了一种基于声学特征转换的语音清晰度增强方法，本方法包括训练阶段和使用阶段；在训练阶段，结合说话人噪声对抗发声机理，使用普通语音信号与Lombard效应下的抗噪语音信号作为数据集，训练具有声学特征转换能力的映射模型，其映射特征包括语音帧频谱倾斜度、基频系数和能量系数，使用长短时记忆网络学习频谱倾斜度的特征映射能力，使用贝叶斯高斯混合模型学习基频系数和能量系数的特征映射能力；在使用阶段，基于已经训练好的特征映射模型和相应的预处理、后处理技术，将通信设备或交互设备解码后的语音信号逐帧转换为具备抗噪特性的语音信号，提升语音信号在噪声环境中播放时的听觉清晰度和感知可懂度。

技术领域

本发明提供了一种基于声学特征转换的语音清晰度增强方法，尤其涉及人工智能、机器学习、语音信号处理和网络通信领域，适用于实时语音通信系统、人机交互系统等有关语音通信的系统与设备。

背景技术

随着移动通信技术的迅猛发展，凭借着强大的移动通信网络和高性能通话终端，移动语音通信逐步取代固话通信成为主流语音通信方式。依靠着移动通信带来的便捷，人们能够随时随地进行语音通信。但随之而来的，是通话者不可避免的在商场、车站、餐厅等噪声环境包围的条件下进行语音通信，环境噪声大幅度降低了语音的听觉清晰度和感知可懂度。

另一方面，随着近年来智能音箱等设备的语音人机交互技术不断发展，人们越来越频繁地通过智能交互设备在各种环境中进行人机对话。合成语音信号在环境噪声中的抗掩蔽性远低于自然语音，其在环境噪声中的听觉清晰度和感知可懂度下降更为严重。

如何有效提高语音信号在噪声环境中听觉清晰度和感知可懂度，是当前语音通信与交互过程中一个亟待解决的问题。

在噪声环境中的语音通信过程可以拆分为说话过程和听音过程；在说话过程中，说话人向语音通信设备说出一段语音信号，设备麦克风采集语音信号，同时也采集到了环境噪声信号；在听音过程中，语音通信设备播放语音信号，人耳听到播放的语音信号，同时也听到了环境噪声信号。

为了滤除说话过程中麦克风采集到的噪声，结合多麦克风阵列抗噪技术等硬件措施和语音增强(Speech Enhancement)算法，目前说话过程中的噪声已经几乎可以被完全滤除，听音者已基本上免受说话过程中的环境噪声干扰。

为了降低听音过程中人耳受到的环境噪声干扰，针对耳机应用诞生了主动降噪技术，通过频率、振幅相同，相位相反的反噪声信号抵消环境噪声，因为耳机以物理隔绝的方式预先阻隔了绝大部分噪声，剩余能量不高的噪声得以被反噪声信号几乎完全抵消掉。而在最常见的听筒模式或人机交互设备(如：智能音箱)中，人耳和设备均暴露在开放性环境中，主动降噪技术难以抵消能量巨大的环境噪声。语音清晰度增强(SpeechIntelligibility Enhancement)技术，又称作语音可懂度增强技术或近端听音增强(Near-End Listening Enhancement)技术，是一种基于声学掩蔽原理、人耳感知特性和语言特性的信号增强方法，经过增强的语音信号在时频特性和语音特性上发生变化，不易被环境噪声掩蔽，较未增强的语音在相同噪声中拥有更高的听觉清晰度和感知可懂度。语音清晰度增强不改变环境中的噪声能量，却能让人耳更容易地获取信息，是一种适用于听筒、耳机、人机交互设备的通用型方案。

本发明提出了一种基于声学特征转换的语音清晰度增强方法，是一种结合说话人噪声对抗的发声机理和自然语音生成模型的全新语音清晰度增强方法。