[发明专利]基于一致性路由网络的语音音素识别方法有效
申请号: | 201910035513.9 | 申请日: | 2019-01-15 |
公开(公告)号: | CN109741733B | 公开(公告)日: | 2023-01-31 |
发明(设计)人: | 徐宁;倪亚南;刘小峰;姚潇 | 申请(专利权)人: | 河海大学常州校区 |
主分类号: | G10L15/02 | 分类号: | G10L15/02;G10L15/08 |
代理公司: | 南京纵横知识产权代理有限公司 32224 | 代理人: | 董建林 |
地址: | 213022 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 一致性 路由 网络 语音 音素 识别 方法 | ||
1.基于一致性路由网络的语音音素识别方法,其特征在于,包括以下步骤:
步骤1,构造一致性路由网络的前馈网络编码器;包括以下步骤:
步骤1.1,使用矩阵乘法和二维卷积核对初始语音音素数据进行矩阵运算和二维卷积计算,计算得到低阶状态向量;
步骤1.2,构造一致性路由网络的一致性路由结构,通过矩阵和向量的元素乘法之后求平均值,将低阶状态向量中的信息传递给高阶状态向量;
步骤1.3,用每个类别对应的高阶状态向量的长度的softmax激活值在所有高阶向量softmax激活值中的占比来表示判别为该类别的语音音素数据的概率;
步骤2,构造一致性路由网络的重构解码器,将真实标签对应的高阶状态向量进行解码重构;包括以下步骤:
步骤2.1,根据输入数据所对应的真实标签值,取出相应位置的高阶状态向量,记为trueHighVec;
步骤2.2,将向量trueHighVec经过包括隐藏层de_fc1和隐藏层de_fc2的全连接层,以全连接的方式连接到输出维度为w的解码器输出层,w为初始语音音素数据的维度,解码出的重构数据与初始语音音素数据具有相同的数据格式;
步骤3,根据softmax激活值的判别结果计算分类损失,根据对比解码器的解码结果和原始数据计算重构损失,根据一致性路由结果计算相似性损失,将分类损失、重构损失、相似性损失进行加权求和得到总损失,使用自适应矩估计法对一致性路由网络中的所有可更新参数进行优化,使总损失最小化;
步骤4,将待测试的初始语音音素数据输入一致性路由网络的编码器中,根据所有高阶状态向量长度的softmax激活值判断待测试的初始语音音素数据的所属类别。
2.根据权利要求1所述的基于一致性路由网络的语音音素识别方法,其特征在于,初始语音音素数据是通过原始语音数据经过预处理得到,具体包括以下步骤:
步骤A,对原始语音进行巴特沃斯带通滤波,并检测异常值点,去除毛刺噪声点;
步骤B,对滤波后的语音信号进行分帧处理;
步骤C,对分帧后的每一帧语音信号进行特征提取,选取w个特征作为每一帧的w维特征向量;
步骤D,对每一帧的w维特征向量进行归一化处理得到初始语音音素数据。
3.根据权利要求1所述的基于一致性路由网络的语音音素识别方法,其特征在于,步骤1.1中,使用矩阵乘法和二维卷积核对初始语音音素数据进行矩阵运算和二维卷积计算的步骤中使用的编码方法包括:以多层感知机为基本组成单元的全连接网络的编码、二维卷积网络的编码、混合全连接-卷积网络的编码。
4.根据权利要求3所述的基于一致性路由网络的语音音素识别方法,其特征在于,步骤1.1使用的编码方法中,利用混合全连接-卷积网络的编码计算得到低阶状态向量的具体步骤包括:
步骤1.11,初始语音音素数据经过一个全连接层连接到具有m1个单元的隐藏层h1,经过激活函数sigmoid作用得到隐藏层h1的输出数据z1;
步骤1.12,将隐藏层h1的输出数据z1重塑为一个三维张量input1,即m2个[b1×b1]大小的特征图谱,通过卷积核大小为[k1×k1]的二维卷积层连接到具有m3个[b2×b2]大小的特征图谱的隐藏层h2,经过激活函数sigmoid作用得到隐藏层h2的输出z2;
步骤1.13,将隐藏层h2的输出数据z2重塑成[n1×lowVec_len]大小的二维张量,代表n1个低阶状态向量,张量矩阵的每一行代表一个低阶状态向量lowVec,每个低阶状态向量的维度是lowVec_len;
步骤1.14,将每个低阶状态向量按照如下公式进行squash归一化处理:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于河海大学常州校区,未经河海大学常州校区许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910035513.9/1.html,转载请声明来源钻瓜专利网。