[发明专利]一种基于bert+bilstm+crf与xgboost模型的多意图识别方法和系统

权利要求书

1.一种基于bert+bilstm+crf与xgboost模型的多意图识别方法，其特征在于，包括如下步骤：

步骤1：通过得到用户的交互文本或者语音信息，构建数据集；

步骤2：对所述数据集进行预处理，得到标准格式数据；

步骤3：通过bert+bilstm+crf模型将所述标准格式数据转换为特征句向量；

步骤4：通过Xgboost模型训练相应的特征句向量模型来进行意图识别，识别用户交互意图并输出所有的主意图；

步骤5：利用TF-IDF模型计算同一主意图的所有文本数据中的意图对该类意图的贡献，确定标准意图，其他意图则为子意图，将标准意图的句向量作为标准句向量；

步骤6：通过bert模型将各子意图进行分类并输出个子意图类别。

2.根据权利要求1所述的一种基于bert+bilstm+crf与xgboost模型的多意图识别方法，其特征在于，所述步骤2中的预处理包括对数据集进行去停用词和标注。

3.根据权利要求1所述的一种基于bert+bilstm+crf与xgboost模型的多意图识别方法，其特征在于，所述特征句向量包括词向量、词性向量和命名实体向量。

4.根据权利要求3所述的一种基于bert+bilstm+crf与xgboost模型的多意图识别方法，其特征在于，所述步骤3中具体包括；利用了bert模型将标准格式数据转换为词向量，再由bilstm+crf模型计算出词性向量和命名实体向量。

5.根据权利要求1所述的一种基于bert+bilstm+crf与xgboost模型的多意图识别方法，其特征在于，所述bert+bilstm+crf模型的公式如下：

(1)head_i＝Attention(QW_i^Q，KW_i^K，VW_i^v)

(2)

(3)MultiHead(Q，K，V)＝Concat(head₁，...，head_n)W^o

式中：Q、K、V为字向量矩阵，d_k是嵌入层维度，而MultiHead自注意力机制则是通过对Q、K、V进行投影，将自注意力机制结果拼接，如公式(2)和公式(3)。

6.一种基于bert+bilstm+crf与xgboost模型的多意图识别系统，用于执行权利要求1-5中任一所述的方法，其特征在于，包括语音接收模块，该模块的功能是用于识别用户语音；语音转换文本模块，用于接收语音之后的文本转换功能；意图识别模块，用于基于bert+bilstm+crf所述的标准意图选取，多意图识别；交互模块，用于识别用户意图后执行意图。

7.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行权利要求1-5中任一所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1-5中任一所述的方法。