[发明专利]一种面向对话系统中的自然语言理解方法及装置

权利要求书

1.一种面向对话系统中的自然语言理解装置，其特征在于：包括词嵌入层、编码表示层和联合学习层；

其中，

(1)词嵌入层(Word Embedding Layer)

X₁，...，X₅表示输入序列的字，而e(X₁)，...，e(X₅)表示经过嵌入后的单词表示；所使用的Embedding是通过预训练的方式生成的，本层主要完成由文本到向量的表示；

(2)编码表示层(Encoding Representation Layer)

将嵌入表示后的单词向量输入由堆叠多层Transformer形成的预训练语言模型，进行高层次的特征编码和抽取；

经过预训练模型编码后的表示，可以引入模型在预训练过程中学习到的丰富的无监督语法和语义知识，从而提升模型的分类和序列标注能力；

(3)联合学习层(Joint Learning Layer)

在图像处理领域，CNN模块是构建网络中不可缺少的模块，且其性能已经被有效证明，在自然语言处理领域同样具有良好的效果；为了从低层到高层地捕获特征，提出了VDCNN模型，使用多达数十层的卷积块，并且为了缓解梯度消失带来的问题还引入了残差连接，循环神经网络方面，LSTM和GRU都能进一步改善梯度消失和梯度急剧膨胀的问题，在RNN的基础上引入双向建模和最大池化操作可以增强模型在长距离依赖关系的处理能力并保留重要的语义信息；而对于槽位识别来说，双向长短期记忆网络模型对于序列编码具有较大优势，在序列任务中表现出优异的表示学习能力，并且条件随机场具有在序列输出阶段利用标签间信息的优点，所以在槽位识别任务时，使用双向LSTM结合条件随机场(CRF)共同建模；

因此在意图分类时采用由CNN、RCNN和VDCNN三种模型形成的混合网络进行预测，而在槽位识别时则采用BiLSTM+条件随机场的方式进行序列标注。

2.根据权利要求1所述的一种面向对话系统中的自然语言理解装置的使用方法，其特征在于：包括如下步骤：

步骤一：首先使用在通用领域语料上已经预训练好的预训练语言模型的嵌入层实现对用户输入文本的向量化表示；

步骤二：然后使用预训练语言模型的多层Transformer对向量化表示进行高层次的特征抽取和语义表示，融入上下文信息，完成输入的编码表示；

在联合学习层中，意图分类使用一个包含TextCNN、RCNN和VDCNN的混合网络模型实现，具体计算过程如下：

(1)CNN模块

CNN模块采用的是TextCNN模型；在自然语言领域CNN采用一维的形式完成特征抽取，即文本在向量化表示后，在文本序列方向上进行卷积和池化操作，通过滑动窗口的方式，每次卷积选取固定大小的序列进行交互学习，记该模块输出为R₁；

(2)RCNN模块

RCNN模型引入上下文同时建模的思想，在进行编码和特征抽取时考虑单词的上文和下文，并且为了捕获单词序列长距离的依赖关系使用RNN作为特征抽取器；实现中使用双向LSTM基本单元；对LSTM编码后的输出进行最大池化操作，可以有效学习句子中单词的语义重要性知识，记该模块输出为R₂；

(3)VDCNN模块

VDCNN(Very Deep Convolutional Networks)最初是为计算机视觉领域的图像识别任务而提出的；模型的主要思想是在整个模型的所有卷积层中都使用一个小的卷积核，然后堆叠至一个非常深的深度，最深可以达到19层，记该模块输出为R₃；

步骤三：最后，将三个模型最终得到的编码表示R₁，R₂，R₃进行拼接操作；

3.根据权利要求2所述的一种面向对话系统中的自然语言理解装置的使用方法，其特征在于：针对的是中文意图识别和槽位识别，因此在选取合适的编码表示层预训练模型时，选择了更加适合中文场景的两个基于Transformer的预训练语言模型；两个模型分别是百度提出的ERNIE模型和哈工大-讯飞联合提出的BERT-WWM。