[发明专利]一种基于NMF算法的单传声器语音分离方法在审
| 申请号: | 201710137777.6 | 申请日: | 2017-03-09 | 
| 公开(公告)号: | CN108573711A | 公开(公告)日: | 2018-09-25 | 
| 发明(设计)人: | 李军锋;李煦;颜永红 | 申请(专利权)人: | 中国科学院声学研究所 | 
| 主分类号: | G10L21/0272 | 分类号: | G10L21/0272;G10L21/0308;G10L25/27;G10L15/02;G10L15/06 | 
| 代理公司: | 北京方安思达知识产权代理有限公司 11472 | 代理人: | 王宇杨;陈琳琳 | 
| 地址: | 100190 *** | 国省代码: | 北京;11 | 
| 权利要求书: | 查看更多 | 说明书: | 查看更多 | 
| 摘要: | |||
| 搜索关键词: | 算法 矩阵 字典 语音 传声器 时间连续性 分离效果 结构信息 训练数据 语音幅度 语音信号 语音信息 状态序列 传统的 鲁棒性 帧混合 | ||
1.一种基于NMF算法的单传声器语音分离方法,其特征在于,包括:
步骤1)针对两个说话人单独采集各自对应的语音信号;
步骤2)对步骤1)中采集到的语音信号进行预处理,然后提取语音信号的幅度谱;
步骤3)对每个说话人对应的语音信号幅度谱进行k均值聚类和非负矩阵分解,得到两个说话人对应的字典矩阵和状态序列;
步骤4)通过步骤3)中得到的两个说话人对应的字典矩阵和状态序列训练FCRF模型;
步骤5)对两个说话人的混合语音信号进行特征提取,然后将提取的特征送入经过训练的FCRF模型中进行解码,得到两个说话人状态的后验概率;
步骤6)利用步骤5)中得到的后验概率和步骤3)中得到的字典矩阵重构两个说话人的语音信号。
2.根据权利要求1所述的基于NMF算法的单传声器语音分离方法,其特征在于,所述的步骤2)具体包括:
步骤201)对每一帧语音信号补零到N点,N=2i,i为整数,且i≥8;
步骤202)对每一帧的语音信号进行加窗或预加重处理;
步骤203)将步骤202)处理后的语音信号通过快速傅里叶变换算法提取语音信号的幅度谱。
3.根据权利要求1所述的基于NMF算法的单传声器语音分离方法,其特征在于,所述的步骤3)具体包括:
步骤301)对每个说话人对应的语音信号幅度谱进行k均值聚类,将谱结构相似的语音帧聚成一类,然后对聚类后每一类的幅度谱进行非负矩阵分解,获得各类对应的字典矩阵,非负矩阵分解公式表示为:
其中,为属于第g类的语音幅度谱,为分解得到的第g类对应的字典矩阵,表示字典矩阵对应的权重矩阵,g表示类的标记,G为聚类总数;
步骤302)将所有不同类别的字典矩阵组合成一个语音字典集,所述的语音字典集表示为:
其中,训练语音幅度谱每一帧对应的类的标记组成状态序列。
4.根据权利要求1所述的基于NMF算法的单传声器语音分离方法,其特征在于,所述的步骤4)具体包括:
步骤401)对两个说话人的混合语音信号进行两种特征提取,第一种特征为两个说话人混合语音信号的幅度谱,第二种特征为将混合语音信号的幅度谱进行非负矩阵分解之后的权重矩阵;
步骤402)将步骤401)中提取得到的两种特征输入到FCRF模型中,令FCRF模型的输出为步骤3)中得到的两个说话人对应的状态序列,在确定FCRF模型输入和输出之后,采用L-BFGS算法估计得到FCRF模型参数。
5.根据权利要求1所述的基于NMF算法的单传声器语音分离方法,其特征在于,所述的步骤5)具体包括:
步骤501)对两个说话人的混合语音信号进行两种特征提取,第一种特征为两个说话人混合语音信号的幅度谱,第二种特征为混合语音信号的幅度谱经过非负矩阵分解之后的权重矩阵;
步骤502)将步骤501)中提取的两种特征送入经过步骤4)训练后的FCRF模型中,通过LBP算法进行解码,得到每一帧混合语音信号对应的两个说话人状态的联合后验概率p(y1,t,y2,t|x)。
6.根据权利要求1所述的基于NMF算法的单传声器语音分离方法,其特征在于,所述的步骤6)具体包括:
步骤601)利用步骤5)中得到的后验概率和步骤3)中得到的两个说话人对应的字典矩阵,重构两个说话人的语音信号:
其中,和表示重构得到两个说话人第t帧的语音幅度谱,W1,m表示第一个说话人第m个状态对应的字典矩阵,W2,n表示第二个说话人第n个状态对应的字典矩阵,h1mn,t和h2mn,t表示将第t帧混合语音信号经过非负矩阵分解后得到的两个字典矩阵W1,m和W2,n对应的权重向量,p(y1,t=m,y2,t=n|x)表示当前帧第一个说话人对应状态是m和第二个说话人对应状态是n的联合后验概率;
步骤602)通过维纳滤波的形式获得最终分离后的两个说话人的语音幅度谱:
其中,表示逐点相乘;
步骤603)利用步骤602)中分离得到的两个说话人的语音幅度谱和分别结合混合语音信号相位,通过逆短时傅里叶变换恢复出两个说话人的时域信号。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院声学研究所,未经中国科学院声学研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710137777.6/1.html,转载请声明来源钻瓜专利网。





