[发明专利]一种时域柔性振动传感器语音增强方法及系统

说明书

本发明提出了一种基于双路径Transformer并结合均衡‑生成成分预测的神经网络(DPT‑EGNet)，用于时域的柔性振动传感器语音增强，包括预处理模块、双路径Transformer模块、均衡模块、生成模块、后处理模块。双路径Transformer模块用于学习长时语音序列的局部和全局上下文关系；基于对柔性振动传感器语音损失机理的分析，提出均衡模块和生成模块，将学习到的上下文信息用于均衡系数以及丢失成分的预测。将均衡系数与预处理模块的输出点乘，并加上丢失成分，最终送入到后处理模块实现语音特征到语音波形的重构。实验证明，所提出的网络，相比于其他流行的时频域模型，能够获取更好的增强表现，并且具有非常低的模型复杂度。

技术领域

本发明属于振动传感器领域，特别是柔性振动传感器领域，尤其涉及一种结合双路径Transformer和均衡-生成成分预测的时域柔性振动传感器语音增强方法及系统。

背景技术

基于压电效应、压阻效应、压电电容效应、电磁效应等可以实现不同类型的柔性振动传感器，这种传感器已被研究用于捕捉喉部振动从而得到语音信号。如图1所示，为一种基于电磁效应的柔性振动传感器。和刚硬材料的喉头麦克风一样，这种传感器也能够阻隔空气中传播的噪声，具有天然的抗噪声性能，但是因为材料柔软、佩戴舒适，是一种极具潜力的未来可穿戴设备方案。然而，由于人体信号传导的低通性，获取的语音信号高频衰减严重，并且柔性结构倾向于得到更低的共振频率，故相比于刚硬材料的喉头麦克风面临更为严重的信号损失问题。具体来说，刚硬材料的喉头麦克风语音截止频率在2.5kHz左右，而柔性振动传感器语音截止频率在1kHz左右。因此，柔性振动传感器语音增强方法的研究，是一个亟待解决并且非常具有挑战性的课题。

一些类似的振动传感器语音，例如骨导语音、非声喃语语音等，在早期相关研究中，主要采用基于统计模型的增强方法，通过转换畸变的低维谱包络声学特征到对应的空气传导语音特征实现增强。然而，统计模型方法依赖于非常强的假设条件，当假设条件不满足时增强性能下降严重，并且低维度的声学特征难以很好表征语音。随后，基于深度学习的相关增强方法因为能够克服上述问题，取得了更好的表现。深度学习的相关增强方法几乎都是在时频域进行处理，从畸变的幅度谱估计出增强幅度谱，然后采用畸变的相位谱重构增强语音波形。由于采用的相位谱的是次优的，因此整体的增强性能提升有上限。很自然能够想到，进一步的提升方法是直接在时域进行处理，这样模型可以自动地提取合适的特征，而不是使用人工设计的特征，从而规避了对畸变相位谱的使用。当前时域方法在语音去噪领域研究十分活跃，并且取得了比频域和复数域更好的效果。

发明内容

本发明的目的在于针对现有技术存在的问题，提供一种结合双路径Transformer和均衡-生成成分预测的时域柔性振动传感器语音增强方法及系统。

实现本发明目的的技术解决方案为：一种时域柔性振动传感器语音增强方法，所述算法包括以下步骤：

步骤1，对柔性振动传感器时域语音进行语音分割；

步骤2，对语音帧进行压缩并投射到隐性特征空间；

步骤3，基于双路径Transformer实现帧内以及帧间的特征注意力学习，建立隐性表达的局部和全局相关性；

步骤4，基于步骤3的结果，分别预测均衡成分和生成成分；

步骤5，基于步骤2和步骤4的结果，从隐性特征空间重构时域语音波形；

步骤6，进行重叠加获得最终增强的时域语音波形。

进一步地，步骤1所述对柔性振动传感器语音进行语音分割，具体包括：

步骤1-1，针对长为L的柔性传感器时域语音x(t)∈R^L，按照帧长F、帧移H进行分帧，得到N个语音帧；其中N的计算公式为：

N＝floor[(L-F)/H]+1