[发明专利]一种基于长短期记忆网络的语音端点检测方法及系统

权利要求书

1.一种基于长短期记忆网络的语音端点检测方法，其特征是，包括：

从语音数据中针对每一语音帧提取多分辨率耳蜗图特征，在一定范围内选取其数个上下文帧，将这些上下文帧按照时间顺序生成输入数据；

将输入数据输入到训练后的注意力增强型长短期记忆网络中，生成局部增强的上下文帧语境信息；

将局部增强后的数据输入到多头注意力层，生成全面增加权重的上下文帧信息；

将全面增加权重的数据输入到神经网络(分类器)中，进行语音端点检测并生成预测结果；

其中，注意力增强型长短期记忆网络在训练时，具体包括：

针对训练数据进行预处理，之后选取上下文帧；

初始化编码器，得到初始化的注意力增强型长短期记忆网络；

将训练数据输入注意力增强型长短期记忆网络中，得到局部增强的上下文帧信息；

对解码器进行初始化：初始化解码器的多头注意力模块，注意力头的数量与编码器的多头注意力模块相同；

确定解码器多头注意力层的参数；

将解码器多头注意力层的参数输入到多头注意力层，生成全面增加权重的上下文帧信息；

对全面增加权重的上下文帧信息进行批量标准化操作；

改变全面增加权重的上下文帧信息维度，将全面增加权重的数据输入到解码器的神经网络(分类器)中，生成最后的预测结果；

选取上下文帧时，标签也同步选取对应上下文帧标签，目标标签与解码器的预测输出维度一致；

利用解码器的预测输出概率与目标标签对编码器和解码器进行权值优化；

利用解码器的预测输出概率与目标标签对编码器和解码器进行权值优化的步骤包括：

损失函数使用交叉熵误差，计算模型一个batch数据的loss；

确定模型优化器；

优化器根据模型loss值更新编码器中多头注意力模块的全连接层权值、长短期记忆网络权值、dropout层权值；

优化器根据模型loss值更新解码器中多头注意力模块的全连接层权值、三层神经网络权值、批量标准化的数据均值E(x)与数据方差Var(x)。

2.如权利要求1所述的一种基于长短期记忆网络的语音端点检测方法，其特征是，从语音数据中针对每一帧提取多分辨率耳蜗图特征时，通过提取具有小帧长度和小平滑窗口的耳蜗图特征来产生局部信息，通过提取具有大帧长度和大平滑窗口的耳蜗图特征来产生全局信息。

3.如权利要求1所述的一种基于长短期记忆网络的语音端点检测方法，其特征是，为每一个输入帧选取上下文帧，具体为：

设置一个(w,u)参数，w限制选取范围，u是步长，每一帧及其左右相邻两帧固定，其余部分按照步长选取，计算得到每个数据包含的相邻帧的个数。

4.如权利要求1所述的一种基于长短期记忆网络的语音端点检测方法，其特征是，所述注意力增强型长短期记忆网络即编码器，包括：

增强注意力的长短期记忆单元，该单元按照时刻紧密连接，时刻与单元的个数是每一帧上下文帧的个数；

所述增强注意力的长短期记忆单元包括单元输入模块、多头注意力模块及长短期记忆模块；

所述输入模块用于在某一时刻产生自注意力结构的组合输入，并根据实际情况选择使用k个历史时刻单元状态；

所述多头注意力模块将组合输入经过全连接层线性变换生成Q表示，将k个历史状态经过全连接层线性变换生成K、V表示，利用Q、K、V表示生成上下文帧与历史时刻帧的关联信息；将关联信息经过全连接层线性变换，生成全新的单元输入；

所述长短期记忆模块接收所述多头注意力模块的输出，生成t时刻上下文帧之间的语境信息。

5.如权利要求1所述的一种基于长短期记忆网络的语音端点检测方法，其特征是，将局部增强后的数据输入到解码器多头注意力层，多头注意力层计算每一个上下文帧与其所有上下文帧之间的关联度分值；

所述解码器多头注意力层还包括位置信息，所述位置信息代表每一帧出现的时序顺序，相当于为每一帧编码，以便解码器能够准确识别所处理的帧的前后顺序。