[发明专利]一种基于长短期记忆网络的语音端点检测方法及系统

说明书

本公开提出了一种基于长短期记忆网络的语音端点检测方法及系统，包括：从语音数据中针对每一语音帧提取多分辨率耳蜗图特征，在一定范围内选取其数个上下文帧，将这些上下文帧按照时间顺序生成输入数据；将输入数据输入到训练后的注意力增强型长短期记忆网络中，生成局部增强的上下文帧语境信息；将局部增强后的数据输入到多头注意力层，生成全面增加权重的上下文帧信息；将全面增加权重的数据输入到神经网络(分类器)中，进行语音端点检测并生成预测结果。在编码器中使用一个注意力增强型LSTM网络，不但解决了多头注意力的位置模糊问题，同时利用数个历史时刻的状态信息，增强记忆的长、短期效果，比单一的LSTM更能突出重要的某几帧的效果。

技术领域

本公开属于语音识别领域，尤其涉及基于长短期记忆网络的语音端点检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

语音端点检测(Voice Activity Detection,VAD)是语音识别、语音降噪、语音编码以及移动通信、卫星电话等领域中至关重要的环节，而且极大程度上影响到系统的时效和最后结果的准确性。因此，如何准确地检测出含噪声的语音端点显得尤为重要。

引用注意力机制的首要目的是计算某一帧的各个上下文帧对预测该帧的贡献度分值，再将该分值作为权重与原始输入帧整合在一起。相当于按权重将上下文帧整合成一个新的帧，权重较大的帧所占比重也较大，这样两个关联度高的帧之间就会有较大的共性。同时表现在输入帧的各个上下文帧对最后的预测输出贡献度的大小。

首次应用于端点检测领域中的注意力机制，是由自然语言处理中Seq2Seq模型演变而来。该方法通过长短期记忆网络(Long Short-Term Memory,LSTM)学习一定范围内上下文帧的时序、语义信息。这种方法可以学习到天然的时序位置信息，但只能按照时序计算会产生时序依赖问题，无法并行运算；且LSTM也无法确定哪些上下文帧更为重要，无侧重点。

其次是2020年使用的多头注意力机制(Multi-head Attention)，这种方法对分值的计算与整合完全依赖输入数据本身，极大降低了网络复杂度，实现了并行计算，但摒弃了循环网络就意味着摒弃了位置信息。

因此，现有的基于多头注意力机制的方法没有使得整个模型更加契合端点检测的特点，以致模型精度、对噪声的鲁棒性以及泛化能力不够。

发明内容

为克服上述现有技术的不足，本公开提供了一种基于长短期记忆网络的语音端点检测方法，对已有注意力机制进行了改进，检测精度更高。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

第一方面，公开了一种基于长短期记忆网络的语音端点检测方法，包括：

从语音数据中针对每一语音帧提取多分辨率耳蜗图特征，在一定范围内选取其数个上下文帧，将这些上下文帧按照时间顺序生成输入数据；

将输入数据输入到训练后的注意力增强型长短期记忆网络中，生成局部增强的上下文帧语境信息；

将局部增强后的数据输入到多头注意力层，生成全面增加权重的上下文帧信息；

将全面增加权重的数据输入到神经网络(分类器)中，进行语音端点检测并生成预测结果。

进一步的技术方案，从语音数据中针对每一帧提取多分辨率耳蜗图特征时，通过提取具有小帧长度和小平滑窗口的耳蜗图特征来产生局部信息，通过提取具有大帧长度或大平滑窗口的耳蜗图特征来产生全局信息。

进一步的技术方案，为每一个输入帧选取上下文帧，具体为：

设置一个(w,u)参数，w限制选取范围，u是步长，每一帧及其左右相邻两帧固定，其余部分按照步长选取，计算得到每个数据包含的相邻帧的个数。