[发明专利]基于词混淆网络的语义理解方法及系统

说明书

本发明实施例提供一种基于词混淆网络的语义理解方法。该方法包括：接收用户输入的语音对话，确定语音对话的词混淆网络，将词混淆网络转化为单词序列、后验概率序列和分段位置序列；通过Transformer编码器进行编码，得到词级别向量特征；将词级别向量特征输入至序列表示模型进行分段级别聚合，得到聚合后的分段级别向量特征；将分段级别向量特征输入至自注意力模型，将自注意力模型的输出进行拼接，得到序列级别的向量特征；将序列级别的向量特征输入至语义元组分类器，确定语音对话的语义。本发明实施例还提供一种基于词混淆网络的语义理解系统。本发明实施例通过分段级别特征包含了上下文信息，减轻了语义理解受语音识别错误的影响，提高了运算速度。

技术领域

本发明涉及智能语音领域，尤其涉及一种基于词混淆网络的语义理解方法及系统。

背景技术

SLU(Spoken Language Understanding，口语理解)模块是SDS(Spoken DialogueSystem，口语对话系统)的关键组件，可将用户话语解析为结构化的语义表示，因此语义理解对于语音识别错误非常敏感。口语理解系统通常会采用语音识别的最佳假设文本作为输入。为了避免语义理解对于语音识别错误的过度敏感，提升系统对语音识别错误的鲁棒性，会使用包含更多信息的语音识别输出也被用来作为口语理解的输入，比如N-最佳假设列表、词格和词混淆网络。相较于词格，词混淆网络结构更为紧凑，计算更为高效。

现有技术中，LSTM(Long Short-Term Memory Network，长短时记忆网络)可以直接将最佳假设文本进行编码，从而得到每句话的向量表示；对于N-最佳假设列表，一般根据N句话的语音识别分数对每句话的向量表示进行加权，从而得到整体的向量表示。词混淆网络可以看做一个分段(bin)序列，每个分段都包含该时间步内所有候选词以及对应的后验概率，因此比N-最佳列表包含更丰富的信息。最新研究将每个分段中的词嵌入向量进行加权，得到分段(bin)级别的词嵌入表示，再输入到LSTM中进行编码。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

传统技术采用最佳假设文本或N-最佳假设列表作为输入，结果受语音识别错误影响较大。使用LSTM编码词混淆网络的技术中，对每个分段的所有候选词嵌入借助词的后验概率进行简单加权而得到一种局部的分段(bin)级别特征表示，因此在特征表示层面没有考虑上下文信息。此外，由于LSTM并行能力差，导致模型的训练和推理过程较慢。

发明内容

为了至少解决现有技术中语义理解受语音识别错误影响较大，速度较慢，没有考虑上下文信息的问题。

第一方面，本发明实施例提供一种基于词混淆网络的语义理解方法，包括：

接收用户输入的语音对话，确定所述语音对话的词混淆网络，将所述词混淆网络转化为单词序列、后验概率序列以及分段位置序列，对所述单词序列的开头进行标记，确定为初始位置的向量特征；

通过所述Transformer编码器对所述单词序列、后验概率序列以及分段位置序列编码，得到词级别的向量特征；

将所述词级别的向量特征输入至序列表示模型进行分段级别聚合，得到聚合后的分段级别的向量特征；

将所述分段级别的向量特征输入至自注意力模型，将所述自注意力模型的输出与所述初始位置的向量特征进行拼接，得到序列级别的向量特征；

将所述序列级别的向量特征输入至语义元组分类器，确定所述语音对话的语义。

第二方面，本发明实施例提供一种基于词混淆网络的语义理解系统，包括：

序列确定程序模块，用于接收用户输入的语音对话，确定所述语音对话的词混淆网络，将所述词混淆网络转化为单词序列、后验概率序列以及分段位置序列，对所述单词序列的开头进行标记，确定为初始位置的向量特征；