[发明专利]一种基于孪生神经网络的短语音说话人匹配方法有效
申请号: | 202110140928.X | 申请日: | 2021-02-02 |
公开(公告)号: | CN112951242B | 公开(公告)日: | 2022-10-25 |
发明(设计)人: | 李艳雄;江钟杰;陈昊;曹文昌 | 申请(专利权)人: | 华南理工大学 |
主分类号: | G10L17/00 | 分类号: | G10L17/00;G10L17/02;G10L17/04;G10L17/18;G06N3/04;G06N3/08 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 詹丽红 |
地址: | 510640 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 孪生 神经网络 语音 说话 匹配 方法 | ||
1.一种基于孪生神经网络的短语音说话人匹配方法,其特征在于,所述短语音说话人匹配方法包括以下步骤:
S1、构造训练样本对,所述训练样本对包括两个语音样本来自同一个说话人的正样本对、两个语音样本来自不同说话人的负样本对;
S2、提取各样本对中两个语音样本的对数梅尔能量谱特征,过程如下:预加重、分帧、加窗,然后分别提取每一帧的对数梅尔能量谱特征;
S3、搭建孪生神经网络,所述孪生神经网络包括依次连接的空洞循环卷积子网络、说话人表征层和Sigmoid输出模块,其中,空洞循环卷积子网络有两个分支,每个分支包括两个空洞卷积模块连接双向长短时记忆模块,并且这两个分支的所有参数相同、权重和偏置项共享;其中,所述空洞卷积模块包括空洞卷积单元、激励单元和批量标准化单元,所述双向长短时记忆模块由3层双向长短时记忆单元组成;
所述空洞卷积单元的表达式如下:
其中,表示第m个语音样本的对数梅尔能量谱特征在第l层输出的特征矢量,g(·)表示激活函数,*r表示空洞率为r的卷积运算,km和bm分别表示与第m个语音样本的特征矢量进行卷积运算的卷积核参数和偏置项;
所述激励单元为修正线性单元,用于增加神经网络各层之间的非线性关系;
所述批量标准化单元用于解决输入分布不稳定导致的网络难以稳定学习的问题以及加快网络的收敛速度,计算过程包括:
近似白化预处理:
变换重构:
其中,E[Fm]和Var[Fm]表示第m个语音样本的特征矢量Fm的均值和方差,为特征矢量Fm近似白化预处理得到的结果,Rm表示重构变换得到的结果,γ与β为可调节的矢量参数;
所述双向长短时记忆单元表达式如下:
其中,In和On分别为第n层双向长短时记忆单元的输入和输出,和为第n层前向和后向的隐含激活序列,g(·)为激活函数,和代表与本层输入相关的前向和后向权重矩阵,和代表与上一层输出相关的前向和后向权重矩阵,和代表与本层前向和后向隐含激活序列相关的权重矩阵,和为前向和后向隐含激活序列的偏置项,bO为输出的偏置项;
所述说话人表征层由空洞循环卷积子网络两个分支输出的说话人表征矢量拼接而成,能够有效地表征样本对中两个样本所对应说话人的特征相似程度,其中这两个说话人表征矢量由样本对的两个语音样本的对数梅尔能量谱特征分别输入空洞循环卷积子网络的两个不同分支得到;
所述Sigmoid输出模块由两层全连接层和一个Sigmoid输出层连接组成,采用二值交叉熵损失函数,所述二值交叉熵损失函数表达式如下:
其中,M表示样本对数,y(m)表示第m个样本对的真实标签,表示第m个样本对的预测标签;
S4、训练孪生神经网络,采用训练样本对的对数梅尔能量谱特征作为输入,以二值交叉熵作为损失函数训练孪生神经网络;
S5、说话人匹配,采用经过训练的孪生神经网络判断两个测试短语音是否属于同一个说话人,得到说话人匹配结果。
2.根据权利要求1所述的一种基于孪生神经网络的短语音说话人匹配方法,其特征在于,所述步骤S1中构造训练样本对包括样本分集,构造正样本对和构造负样本对,过程如下:
S1.1、样本分集:将每个说话人的语音样本集平均分成两个样本集:正样本集和负样本集;
S1.2、构造正样本对:每个说话人的正样本集中的语音样本两两匹配得到正样本对;
S1.3、构造负样本对:每个说话人的负样本集中的语音样本分别与不同说话人的负样本集的语音样本匹配得到负样本对。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学,未经华南理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110140928.X/1.html,转载请声明来源钻瓜专利网。