[发明专利]一种基于bert+bilstm+crf与xgboost模型的多意图识别方法和系统

说明书

本发明属于自然语言理解领域技术，具体涉及一种基于bert+bilstm+crf与xgboost模型的多意图识别方法和系统；本技术方案中，使用bert处理预处理完成的数据集，得到动态的词向量，不同于以往的使用word2vec或glove模型获取的词向量。Bert模型输出的词向量具有动态特性，能够解决一词多义的问题。词向量再经过bi l stm+crf转换为句向量，bi l stm+crf模型能够同时处理距离较远的上下文文本信息，通过近邻标签的关系得到最优的句向量预测序列。在主意图识别方面使用Xgboost模型，该模型的识别精度较高且更加灵活，因此用在主意图。得到所有的主意图过后，我们利用TF‑I DF模型选取标准意图，以此为意图判断依据。将经由bert+bi l stm+crf模型处理过后的句向量输入到新的bert模型当中，最终输出子意图。

技术领域

本发明属于自然语言理解领域技术，具体涉及一种基于bert+bilstm+crf与xgboost模型的多意图识别方法和系统。

背景技术

意图识别主要指在人与机器交互动作中，机器对用户所发出的语音或者文本进行自然语言理解，判断出用户的真实意图，为用户提供准确的服务。

目前，意图识别大部分应用在应对用户单一意图的分类或者匹配用途。单一用途，顾名思义，指用户所发出的文本或者语音有且仅有一个意图，而在另一些情况下，用户会发出的语音或者文本交互含有多个意图时，在处理这类交互时，单一意图识别就会遇到困难。

为了达到实现多意图识别，目前主流方式是将用户发出的指令拆分。但是拆分方式仅仅是通过指令的表层，如标点符号拆分、动词划分等方式。但是如果用户输入的是语音指令，或者单个动词不能完全表达用户的意图。

发明内容

针对现有技术存在的传统的单一意图识别无法满足用户多意图语言指令下的要求，而传统的多意图识别拆分句子的方案并不能从根本上将一个多意图句子拆分程多个单意图句子的问题，本发明的目的在于提供一种基于bert+bilstm+crf与xgboost模型的多意图识别方法，通过对句子分析，解析出句子里所包含的多意图信息；本发明一方面使用bert+bilstm+crf、Xgboost模型进行主意图识别。本发明另一方面使用bert+bilstm进行意图分类，能够有效的将意图划分到与之对应的类别。

本发明采用的技术方案如下：

一种基于bert+bilstm+crf与xgboost模型的多意图识别方法，其特征在于，包括如下步骤：

步骤1：通过得到用户的交互文本或者语音信息，构建数据集；

步骤2：对所述数据集进行预处理，得到标准格式数据；

步骤3：通过bert+bilstm+crf模型将所述标准格式数据转换为特征句向量；

步骤4：通过Xgboost模型训练相应的特征句向量模型来进行意图识别，识别用户交互意图并输出所有的主意图；

步骤5：利用TF-IDF模型计算同一主意图的所有文本数据中的意图对该类意图的贡献，确定标准意图，其他意图则为子意图，将标准意图的句向量作为标准句向量；

步骤6：通过bert模型将各子意图进行分类并输出个子意图类别。