[发明专利]一种时域柔性振动传感器语音增强方法及系统

权利要求书

1.一种时域柔性振动传感器语音增强方法，其特征在于，所述算法包括以下步骤：

步骤1，对柔性振动传感器时域语音进行语音分割；

步骤2，对语音帧进行压缩并投射到隐性特征空间；

步骤3，基于双路径Transformer实现帧内以及帧间的特征注意力学习，建立隐性表达的局部和全局相关性；

步骤4，基于步骤3的结果，分别预测均衡成分和生成成分；

步骤5，基于步骤2和步骤4的结果，从隐性特征空间重构时域语音波形；

步骤6，进行重叠加获得最终增强的时域语音波形。

2.根据权利要求1所述的时域柔性振动传感器语音增强方法，其特征在于，步骤1所述对柔性振动传感器语音进行语音分割，具体包括：

步骤1-1，针对长为L的柔性传感器时域语音x(t)∈R^L，按照帧长F、帧移H进行分帧，得到N个语音帧；其中N的计算公式为：

N＝floor[(L-F)/H]+1

步骤1-2，针对一个训练批次的B条语音，按照步骤1-1的方式进行分帧，并采用补0方式，将所有语音的帧数补全为该批次中最大的语音帧数N_max，并记录各条语音实际拥有的语音帧数量；

步骤1-3，将所有语音帧拼接后并进行汉明窗处理，得到三维的数据张量

3.根据权利要求1或2所述的时域柔性振动传感器语音增强方法，其特征在于，步骤2所述对语音帧进行压缩并投射到隐性特征空间，具体包括：

步骤2-1，通过一个2维卷积对语音帧进行压缩；其中，所述2维卷积的卷积核的尺寸为(1,3)、步长为(1,2)，卷积的特征通道数为C；

步骤2-2，压缩后的语音帧依次经层归一化处理、PReLU激活函数后，送入2维1×1卷积和PReLU激活函数，由此将语音数据转换到新的特征空间；其中，所述2维1×1卷积的特征通道数为C。

4.根据权利要求3所述的时域柔性振动传感器语音增强方法，其特征在于，步骤3所述基于双路径Transformer实现帧内以及帧间的特征注意力学习，建立隐性表达的局部和全局相关性，具体通过M个堆叠的双路径Transformer块实现，双路径Transformer块的输入为张量D^pre∈[B,C,N_max,F']，包括帧内Transformer和帧间Transformer；具体过程包括：

步骤3-1，帧内Transformer将注意力作用于维度F'，即作用于同一语音帧内的样点，则经过帧内Transformer的作用输出为D^intra：

D^intra＝transformer(D^pre[:,:,:,i]),i＝1,...,F'

式中，transformer(·)表示Transformer变换，特征图通道数设置为C，则D^intra∈[B,C,N_max,F']；

帧间Transformer将注意力作用在维度N_max，即作用于语音序列帧间的样点，特征图通道数仍然设置为C，则经过帧间Transformer的作用输出为D^inter：

D^inter＝transformer(D^intra[:,:,i,:]),i＝1,...,N_max

其中，D^inter∈[B,C,N_max,F']；

步骤3-2，对帧内Transformer和帧间Transformer的输出均进行群归一化；

步骤3-3，分别对帧内Transformer的输入和对应的群归一化的输出、帧间Transformer的输入和对应的群归一化的输出建立残差连接，其中帧内Transformer的输入为步骤2的结果，帧间Transformer的输入为帧内Transformer经群归一化后的输出。