[发明专利]语音处理方法、音视频通信设备以及车辆在审
| 申请号: | 202211020210.8 | 申请日: | 2022-08-24 |
| 公开(公告)号: | CN115482829A | 公开(公告)日: | 2022-12-16 |
| 发明(设计)人: | 王子腾;纳跃跃;田彪;付强 | 申请(专利权)人: | 阿里巴巴达摩院(杭州)科技有限公司 |
| 主分类号: | G10L21/0216 | 分类号: | G10L21/0216;G10L25/30 |
| 代理公司: | 北京博浩百睿知识产权代理有限责任公司 11134 | 代理人: | 李静茹 |
| 地址: | 310023 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 语音 处理 方法 视频 通信 设备 以及 车辆 | ||
1.一种语音处理方法,其特征在于,包括:
获取拾音设备采集到的原始语音集合,其中,所述原始语音集合包含第一语音和第二语音,其中,所述第一语音为来自位于有效交互区域内的声源发出的语音信号,所述第二语音为来自除位于所述有效交互区域内的声源之外的其他声源发出的语音信号,位于所述有效交互区域内的声源为所述拾音设备定向识别的语音交互对象;
分别对所述第一语音和所述第二语音进行增强处理,得到增强处理后的第一语音和第二语音;
利用深度学习模型对所述原始语音集合、所述增强处理后的第一语音和第二语音进行信号恢复处理,生成目标语音,其中,所述目标语音为所述拾音设备定向拾取的语音信息。
2.根据权利要求1所述的方法,其特征在于,分别对所述第一语音和所述第二语音进行增强处理,得到增强处理后的第一语音和第二语音包括:
利用波束形成算法对所述原始语音集合进行叠加处理,得到所述增强处理后的第一语音;
利用陷波算法对所述原始语音集合进行滤波处理,得到所述增强处理后的第二语音。
3.根据权利要求1所述的方法,其特征在于,利用深度学习模型对所述原始语音集合、所述增强处理后的第一语音和第二语音进行信号恢复处理,生成目标语音,包括:
分别对所述原始语音集合、所述增强处理后的第一语音和第二语音进行特征提取,得到原始语音特征、第一语音特征和第二语音特征;
将所述原始语音特征、所述第一语音特征和所述第二语音特征输入至所述深度学习模型,得到所述目标语音的时频掩蔽;
基于所述时频掩蔽对所述增强处理后的第一语音进行信号恢复处理,得到所述目标语音。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
构建所述拾音设备对应的多个模拟场景,其中,不同模拟场景中包含的声源的数量和类型均不同,所述声源的类型包括如下至少之一:目标声源、干扰声源和噪声声源,所述目标声源位于所述有效交互区域内,所述干扰声源和所述噪声声源位于除所述有效交互区域外的其他交互区域内;
生成所述多个模拟场景对应的模拟语音集合;
利用所述模拟语音集合对所述深度学习模型进行训练。
5.根据权利要求4所述的方法,其特征在于,生成所述多个模拟场景对应的模拟语音集合包括:
确定每个模拟场景中每个声源发出的模拟语音;
通过镜像法确定所述每个模拟场景中每个声源对应的传递函数;
对所述模拟语音和所述传递函数进行卷积,得到所述每个模拟场景对应的模拟语音集合。
6.根据权利要求3所述的方法,其特征在于,分别对所述原始语音集合、所述增强处理后的第一语音和第二语音进行特征提取,得到原始语音特征、第一语音特征和第二语音特征包括:
分别对所述原始语音集合、所述增强处理后的第一语音和第二语音进行短时傅里叶变换,得到原始频域信号、第一频域信号和第二频域信号;
分别对所述原始频域信号、所述第一频域信号和所述第二频域信号进行特征提取,得到原始频域特征、第一频域特征和第二频域特征;
分别对所述原始频域特征、所述第一频域特征和所述第二频域特征进行规整,得到所述原始语音特征、所述第一语音特征和所述第二语音特征。
7.根据权利要求1所述的方法,其特征在于,所述深度学习模型包括:依次连接的输入层、多个紧凑型前馈顺序存储网络、多个第一隐藏层、第一线性映射层和输出层,其中,每个紧凑型前馈顺序存储网络包括:第二隐藏层、第二线性映射层和记忆模块,前一个紧凑型前馈顺序存储网络中的记忆模块与后一个紧凑型前馈顺序存储网络中的记忆模块连接。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴达摩院(杭州)科技有限公司,未经阿里巴巴达摩院(杭州)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211020210.8/1.html,转载请声明来源钻瓜专利网。





