[发明专利]基于Bert模型的意图识别方法、装置及相关设备

说明书

本发明实施例公开了基于Bert模型的意图识别方法、装置及相关设备。该方法包括：对训练语料进行分词处理得到多个单词，并基于多个单词构建语料矩阵；构建训练语料中每个单词的对话序列标识向量以及邻接语义向量；获取训练语料中每一单词的词向量及位置向量，并对每一单词对应的词向量、位置向量、对话序列标识向量以及邻接语义向量进行组合，得到每个单词的输入向量；基于输入向量，通过预置的Bert模型对所输入向量进行预测，得到输入向量所属意图的预测概率，从而构建意图识别模型；获取目标识别语料对应的目标输入向量，通过意图识别模型进行意图识别，得到意图识别结果。该方法使意图识别更准确。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于Bert模型的意图识别方法、装置及相关设备。

背景技术

近年来通过深度神经网络进行对话状态管理已成为对话机器人领域的主流技术。对话状态管理具体来说是对话机器人通过识别用户意图和槽位抽取，实现与用户交互完成特定任务。其中，意图是表明用户想实现何种目的，例如订机票还是订火车票；而槽位是指完成对话的关键要素，例如在订票流程中必须要填写的出发时间、出发地、目的地等要素。

传统的技术是将意图识别视为多分类任务，预先定义好一定类别的意图，通过各种神经网络模型实现分类。通过这些方法完成意图识别需要对每个任务进行大量的标注，需要耗费较多人力和时间成本，影响了实际应用范围。当前技术发展趋势是在预置了丰富语义特征的开源预训练模型(例如Bert模型)基础上，再进行优化改进，以达到更好的效果。

发明内容

本发明实施例提供了一种基于Bert模型的意图识别方法、装置及相关设备，旨在解决现有技术中意图识别准确性不高的问题。

第一方面，本发明实施例提供了一种基于Bert模型的意图识别方法，其包括：

将训练语料进行分词处理得到多个单词，并基于多个所述单词构建语料矩阵，其中，所述训练语料包含多个对话序列；

根据所述训练语料中每个对话序列的先后顺序确定所述对话序列内每个单词的对话序列标识向量；以及获取所述训练语料中每一单词在所述语料矩阵的邻接词序列，并根据所述邻接词序列计算得到对应的邻接语义向量；

获取所述训练语料中每个单词的词向量及位置向量，并对所述词向量、位置向量、对话序列标识向量以及邻接语义向量进行组合，得到所述训练语料每个单词的输入向量；

基于所述输入向量，通过预置的Bert模型对所述输入向量进行预测，得到所述输入向量所属意图的预测概率，从而构建意图识别模型；

获取待识别的目标语料对应的目标输入向量，通过所述意图识别模型进行意图识别，得到意图识别结果。

第二方面，本发明实施例提供了一基于Bert模型的意图识别装置，其包括：

构建模块，用于将训练语料进行分词处理得到多个单词，并基于多个所述单词构建语料矩阵，其中，所述训练语料包含多个对话序列；

计算模块，用于根据所述训练语料中每个对话序列的先后顺序确定所述对话序列内每个单词的对话序列标识向量；以及获取所述训练语料中每一单词在所述语料矩阵的邻接词序列，并根据所述邻接词序列计算得到对应的邻接语义向量；

组合模块，用于获取所述训练语料中每个单词的词向量及位置向量，并对所述词向量、位置向量、对话序列标识向量以及邻接语义向量进行组合，得到所述训练语料每个单词的输入向量；

预测模块，用于基于所述输入向量，通过预置的Bert模型对所述输入向量进行预测，得到所述输入向量所属意图的预测概率，从而构建意图识别模型；

识别模块，用于获取待识别的目标语料对应的目标输入向量，通过所述意图识别模型进行意图识别，得到意图识别结果。