[发明专利]一种基于深度学习的短时语音说话人识别系统和方法在审
申请号: | 202210464168.2 | 申请日: | 2022-04-29 |
公开(公告)号: | CN114822559A | 公开(公告)日: | 2022-07-29 |
发明(设计)人: | 武星;李瑞轩 | 申请(专利权)人: | 上海大学 |
主分类号: | G10L17/02 | 分类号: | G10L17/02;G10L17/04;G10L17/14;G10L17/18;G10L25/18;G10L25/51 |
代理公司: | 上海申汇专利代理有限公司 31001 | 代理人: | 翁若莹;柏子雵 |
地址: | 200436*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 语音 说话 识别 系统 方法 | ||
本发明揭示了一种基于深度学习的短时语音说话人识别系统和方法,包括说话人语音采集模块、样本数据库、频谱图分割模块、时空特征融合模块、判定打分模块和结果输出模块,说话人语音采集模块用于采集说话人语音;样本数据库用于得到标准的说话人语音频谱图;频谱图分割模块用于将一张待识别频谱图像进行切片处理得到时间特征和空间特征;时空特征融合模块用于将时间信息和空间信息进行特征融合,得到说话人的深度学习嵌入;判定打分模块用于对说话人嵌入识别结果进行打分判定。本发明提供的基于深度学习的短时语音说话人识别系统和方法,输出评价指标来评估输出结果,并极大提升短时语音说话人识别过程中的效率和准确性。
技术领域
本发明涉及一种基于深度学习的短时语音说话人识别系统以及基于该系统实现的方法,属于计算机和安全领域。
背景技术
如今,随着人工智能的快速发展,身份验证领域也得到了迅速的发展。其中,基于深度学习的身份认证技术在国防安全、监听和跟踪、网络身份验证等方面取得了广泛应用。
说话人识别在过去十年内飞速发展。通过说话人的身份信息,文本无关的说话人识别可以用于国防安全、监听和跟踪、网络身份验证等方面。一般来说,说话人验证系统是在若干说话人中过滤掉所有非目标说话人,找到与注册语音身份相同的说话人。一个基本的说话人是系统的流程如下:在训练阶段,原始语音的声学特征被用来获取使用机器学习方法对说话人进行区分的特征,所有说话人的嵌入向量被存贮在模型的特征库中。在验证阶段,系统对语音进行相同的特征提取过程,并通过从特征库中找到具有最高判别分数的说话人来获取说话人的身份。尽管通过语音进行身份验证不需要复杂的采样过程,但在实际场景中,大多数语音的持续时间只有1-5秒。因此短时语音说话人识别具有非常关键的作用和意义。在过去十几年里,传统的方法如i-vector方法一直是说话人识别的主要方法。通常情况下,x-vector方法在文本无关的说话人识别中取得了比i-vector方法更好的性能。对于短时语音说话人识别,不同学者利用数据挖掘技术提取不同的声学特征来拟合模型,也有学者从模型角度优化典型的说话人识别模型。然而在现实场景下,以上方法并没有提供实质性的性能改进。
当前,例如重要的身份验证环节不仅需要验证人脸信息,同时也要验证待测者的声音信息,面对大量的注册和验证,人工对结果的判断存在一定的缺陷和偏差。因此,借助一种基于深度学习的短时语音说话人识别系统和方法,是很有必要的。
发明内容
本发明的目的是:极大提升短时语音说话人识别过程中的效率和准确性。
为了达到上述目的,本发明的一个技术方案是提供了一种基于深度学习的短时语音说话人识别系统,其特征在于,包括说话人语音采集模块、语音识别处理模块、样本数据库、基于时空Transformer的短时语音说话人识别模型、判定打分模块以及结果输出模块,其中:
说话人语音采集模块:用于采集说话人语音,获得原始音频数据;
语音识别处理模块:用于对原始音频数据采用声学特征提取方法进行识别处理,得到说话人语音频谱图,并进行归一化得到的标准的说话人语音频谱图;
样本数据库:用于对基于时空Transformer的短时语音说话人识别模型进行训练,样本数据库中存储有标准的说话人样本语音频谱图以及对应的样本标签;
基于时空Transformer的短时语音说话人识别模型,进一步包括频谱图分割模块以及时空特征融合模块,其中,频谱图分割模块:用于将一张待识别的标准的说话人语音频谱图进行切片处理,得到一系列时间特征小片和空间特征小片;时空特征融合模块:用于将时间特征小片和空间特征小片进行特征融合,得到说话人的验证语音的深度嵌入或者说话人的注册语音的深度嵌入;
判定打分模块:用于将说话人的验证语音的深度嵌入与目标说话人的注册语音的深度嵌入进行相似度比较,并进行打分判断;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海大学,未经上海大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210464168.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种防偷窃换电柜的换电方法
- 下一篇:一种锂离子化成设备的故障处理方法