[发明专利]音素识别方法、装置、电子设备和存储介质在审
| 申请号: | 202210855299.3 | 申请日: | 2022-07-19 |
| 公开(公告)号: | CN115359783A | 公开(公告)日: | 2022-11-18 |
| 发明(设计)人: | 孙涛;申凯;万根顺;潘嘉;刘聪;胡国平;刘庆峰;胡郁 | 申请(专利权)人: | 科大讯飞股份有限公司 |
| 主分类号: | G10L15/02 | 分类号: | G10L15/02;G10L15/06;G10L25/54 |
| 代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 郭亮 |
| 地址: | 230088 安徽省*** | 国省代码: | 安徽;34 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 音素 识别 方法 装置 电子设备 存储 介质 | ||
1.一种音素识别方法,其特征在于,包括:
确定待识别语音;
将所述待识别语音输入至音素识别模型,得到所述音素识别模型输出的音素识别结果;
所述音素识别模型基于多个语种的样本语音及各样本语音的音素级标签,对第一识别模型进行训练得到,所述第一识别模型是基于第二识别模型下各音素节点所对应音素之间的相似度,对所述第二识别模型下的音素节点进行筛选得到的,所述第二识别模型包括多个语种分别对应的音素节点。
2.根据权利要求1所述的音素识别方法,其特征在于,所述第一识别模型的确定步骤包括:
基于各音素节点所对应音素之间的相似度,对所述第二识别模型下的各音素节点进行聚类,得到多个簇类;
从各簇类中的音素节点筛选得到当前音素节点,并删除各簇类中除当前音素节点以外的其它音素节点,得到所述第一识别模型。
3.根据权利要求1所述的音素识别方法,其特征在于,所述第二识别模型包括特征提取层和多个语种分别对应的音素分类层,各音素分类层基于各语种对应的音素节点构建得到;
所述第二识别模型基于如下步骤训练得到:
将各语种的样本语音输入至所述第二识别模型的特征提取层,得到所述第二识别模型的特征提取层输出的第一音素隐层特征;
将所述第一音素隐层特征输入至各语种的音素分类层,得到各语种的音素分类层输出的第一音素预测结果;
基于所述音素级标签与所述第一音素预测结果之间的差异,对所述第二识别模型的特征提取层和各语种的音素分类层进行参数迭代,得到所述第二识别模型。
4.根据权利要求3所述的音素识别方法,其特征在于,所述得到所述第二识别模型的特征提取层输出的第一音素隐层特征,之后还包括:
基于所述第一音素隐层特征,确定字级隐层特征和/或句级隐层特征;
基于所述样本语音的字级标签与字级预测结果之间的差异和/或所述样本语音的语种标签与语种预测结果之间的差异,对所述第二识别模型的特征提取层进行参数迭代,得到所述第二识别模型;所述字级预测结果基于所述字级隐层特征确定,所述语种预测结果基于所述句级隐层特征确定。
5.根据权利要求4所述的音素识别方法,其特征在于,所述基于所述样本语音的字级标签与字级预测结果之间的差异和/或所述样本语音的语种标签与语种预测结果之间的差异,对所述第二识别模型的特征提取层进行参数迭代,得到所述第二识别模型,包括:
将所述字级隐层特征输入至字级分类层,得到所述字级分类层输出的所述字级预测结果,和/或,将所述句级隐层特征输入至语种分类层,得到所述语种分类层输出的所述语种预测结果;
基于所述字级标签与所述字级预测结果之间的差异和/或所述语种标签与所述语种预测结果之间的差异,对所述第二识别模型的特征提取层进行参数迭代,得到所述第二识别模型。
6.根据权利要求4所述的音素识别方法,其特征在于,所述基于所述第一音素隐层特征,确定字级隐层特征和/或句级隐层特征,包括:
对所述第一音素隐层特征进行滑窗,得到所述字级隐层特征;
对所述字级隐层特征进行池化,得到所述句级隐层特征。
7.根据权利要求3所述的音素识别方法,其特征在于,所述音素识别模型基于如下步骤训练得到:
固定所述第一识别模型的特征提取层的参数;
将各语种的样本语音输入至所述第一识别模型的特征提取层,得到所述第一识别模型的特征提取层输出的第二音素隐层特征;
将所述第二音素隐层特征输入至当前音素分类层,得到所述当前音素分类层输出的第二音素预测结果;所述当前音素分类层基于从所述第二识别模型中筛选得到的音素节点构建得到;
基于所述音素级标签与所述第二音素预测结果之间的差异,对所述当前音素分类层进行参数迭代,得到所述音素识别模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于科大讯飞股份有限公司,未经科大讯飞股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210855299.3/1.html,转载请声明来源钻瓜专利网。





