[发明专利]基于BERT模型的意图分析方法、装置、设备及介质

权利要求书

1.一种基于BERT模型的意图分析方法，其特征在于，包括：

获取到语句信息时，利用BERT模型将所述语句信息转换为字向量序列；

利用条件随机场算法生成所述字向量序列对应的标注向量序列；

将所述字向量序列与所述标注向量序列进行融合，得到第一句向量；以及，

利用自注意力机制对所述字向量序列进行处理，得到第二句向量；

将所述第一句向量和所述第二句向量进行加权求和处理，得到第三句向量；

对所述第三句向量进行归一化处理，得到所述语句信息对应的意图信息。

2.如权利要求1所述的基于BERT模型的意图分析方法，其特征在于，所述利用条件随机场算法生成所述字向量序列对应的标注向量序列的步骤包括：

利用条件随机场算法计算所述字向量序列对应的预测概率；

根据所述预测概率生成所述字向量序列对应的标注向量序列。

3.如权利要求1所述的基于BERT模型的意图分析方法，其特征在于，所述将所述第一句向量和所述第二句向量进行加权求和处理，得到第三句向量的步骤包括：

根据所述第一句向量对应的第一准确率和所述第二句向量对应的第二准确率，确定所述第一句向量对应的第一权重和所述第二句向量对应的第二权重，其中，所述第一准确率根据历史第一句向量和历史意图信息之间的相似度确定，所述第二准确率根据历史第二句向量和历史意图信息之间的相似度确定；

基于所述第一权重和所述第二权重，对所述第一句向量和所述第二句向量进行加权求和处理，得到第三句向量。

4.如权利要求1-3中任一项所述的基于BERT模型的意图分析方法，其特征在于，所述对所述第三句向量进行归一化处理，得到所述语句信息对应的意图信息的步骤之后，还包括：

获取所述意图信息对应的响应信息；

根据所述响应信息对所述语句信息对应的业务进行处理。

5.如权利要求4所述的基于BERT模型的意图分析方法，其特征在于，所述获取所述意图信息对应的响应信息的步骤包括：

将所述意图信息输入到神经网络模型进行分析，以获取所述意图信息对应的响应信息，其中，所述神经网络模型基于多个意图信息样本，以及所述意图信息样本对应的响应信息训练得到。

6.如权利要求4所述的基于BERT模型的意图分析方法，其特征在于，所述根据所述响应信息对所述语句信息对应的业务进行处理的步骤之后，还包括：

检测到所述业务处理成功时，根据所述意图信息和所述字向量序列更新所述BERT模型。

7.如权利要求1所述的基于BERT模型的意图分析方法，其特征在于，所述对所述第三句向量进行归一化处理，得到所述语句信息对应的意图信息的步骤之后，还包括：

根据所述语句信息和所述意图信息生成数据组；

将所述数据组发送至存储服务端以块链式账本进行存储。

8.一种基于BERT模型的意图分析装置，其特征在于，包括：

转换模块，用于获取到语句信息时，利用BERT模型将所述语句信息转换为字向量序列；

生成模块，用于利用条件随机场算法生成所述字向量序列对应的标注向量序列；

融合模块，用于将所述字向量序列与所述标注向量序列进行融合，得到第一句向量；以及，

第一处理模块，用于利用自注意力机制对所述字向量序列进行处理，得到第二句向量；

第二处理模块，用于将所述第一句向量和所述第二句向量进行加权求和处理，得到第三句向量；

第三处理模块，用于对所述第三句向量进行归一化处理，得到所述语句信息对应的意图信息。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于BERT模型的意图分析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于BERT模型的意图分析方法的步骤。