[发明专利]一种利用CNN的U-NET结构进行远场语音去混响的方法有效
| 申请号: | 201910200023.X | 申请日: | 2019-03-15 |
| 公开(公告)号: | CN109949821B | 公开(公告)日: | 2020-12-08 |
| 发明(设计)人: | 李楠;张健 | 申请(专利权)人: | 慧言科技(天津)有限公司 |
| 主分类号: | G10L21/0208 | 分类号: | G10L21/0208;G10L25/24;G10L15/22 |
| 代理公司: | 北京栈桥知识产权代理事务所(普通合伙) 11670 | 代理人: | 潘卫锋 |
| 地址: | 300384 天津市西青区天津华苑产业*** | 国省代码: | 天津;12 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 利用 cnn net 结构 进行 语音 混响 方法 | ||
1.一种利用CNN的U-NET结构进行远场语音去混响的方法,其特征在于,包括以下步骤:
步骤一:数据的特征提取;
预加重:将数据集中任意一组语音信号s(n)通过高通滤波器,
加窗:取25ms为一帧,并使用汉宁窗;
快速傅里叶变换(FFT):对每一帧进行FFT变换,从时域数据转变为频域数据,并计算谱线能量;
Mel滤波:把求出的每帧谱线能量通过Mel滤波器,并计算在Mel滤波器中的能量;
计算DCT倒谱:把Mel滤波器中的能量取对数后计算DCT,就可以得到Mel频率倒谱系数MFCC;
步骤二:前端特征增强的神经网络框架的设计;
使用步骤二中得到的MFCC特征作为输入,卷积层的宽设置为MFCC的维度,卷积层的高设置为11,然后设置卷积层的filter大小分别为[12,12,24,24,32,32,24,24,12,12],相当于一个encoder-decoder的网络结构,同时使用Resnet的结构连接了encoder和decoder,即将第二和第四个卷积层分别和第七个和第九个的输出相加,将输入的11帧的特征直接整合成一帧来和U-NET网络的输出进行拼接,添加两个全连接神经网络,通过输出层输出干净语音的MFCC特征;
步骤三:语音识别模型的训练及其解码;
使用干净语音的MFCC特征进行归一化,然后求其一阶差分和二阶差分,将进行差分后的特征来进行单因素以及三音素训练,使用数据集中多场景下进行语音去混响之后MFCC特征进行声学模型的训练,将去混响之后的测试集数据进行解码;
所述数据集为2014年的REVERB Challenge数据集;
所述步骤一中高通滤波器的函数关系可以表示为:H(z)=1-az-1([a∈[0.9,1]),a值取0.95;
所述步骤二中使用的损失函数为MSE,损失函数如下所示:
其中Y表示神经网络的MFCC特征,XC表示干净语音的MFCC特征;
所述步骤二中输出干净语音的MFCC特征为一帧的特征;
所述步骤二中作为输入的MFCC特征为上下文各五帧的MFCC特征;
所述步骤二中两个全连接神经网络的神经元个数均为1024。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于慧言科技(天津)有限公司,未经慧言科技(天津)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910200023.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种语音信号处理方法、装置及系统
- 下一篇:信号处理方法和电子设备





