[发明专利]意图识别模型训练方法、意图识别方法及装置

权利要求书

1.一种意图识别模型训练方法，其特征在于，包括：

将样本文本与目标知识图谱关联，得到树状结构文本；

确定所述树状结构文本的可视化矩阵，所述可视化矩阵用于表示树状结构文本中两个词之间是否可见；

基于多个所述树状结构文本和所述可视化矩阵通过Mask-Transformer网络分别提取样本特征，所述Mask-Transformer在Transformer中间增加可见表达M；

基于提取到的多个样本特征，通过最小化目标函数训练意图识别模型。

2.根据权利要求1所述的方法，其特征在于，所述最小化目标函数为：

其中中Y为提取得到的样本特征，而Y'则为需要的样本特征的形式，为矩阵的frobenius范数，Y和Y'拥有相同的维度；其中为拉普拉斯项的矩阵形式，用于使得特征编码Y保持输入特征原始空间的数据关系。

3.根据权利要求1所述的方法，其特征在于，所述Mask-Transformer在Transformer中间增加可见表达M，包括：

多头注意力的更新如下：

Qⁱ⁺¹,Kⁱ⁺¹,Vⁱ⁺¹＝hⁱW_q,hⁱW_k,hⁱW_v

hⁱ⁺¹＝Sⁱ⁺¹Vⁱ⁺¹

其中，W_q、W_h和W_v为可训练参数，hⁱ为mask-attention层中第i个输出，d_k为归一化参数，M为可视矩阵。

4.一种意图识别方法，其特征在于，包括：

将待识别文本与目标知识图谱关联，得到待识别文本的树状结构文本；

确定待识别文本的树状结构文本的可视化矩阵；

基于所述待识别文本的树状结构文本以及可视化矩阵通过根据权利要求1-3任一项训练的意图识别模型确定所述待识别文本对应的意图。

5.根据权利要求4所述的方法，其特征在于，所述将待识别文本与目标知识图谱关联，得到待识别文本的树状结构文本，包括：

基于所述待识别文本从多个知识图谱中确定与其对应的目标知识图谱。

6.根据权利要求5所述的方法，其特征在于，所述基于所述待识别文本从多个知识图谱中确定与其对应的目标知识图谱，包括：

基于所述待识别文本的通过预训练的文本分类模型确定所述待识别文本对应的领域；

基于识别确定的待识别文本对应的领域从多个知识图谱中确定与其对应的目标知识图谱。

7.一种意图识别模型训练装置，其特征在于，包括：

第一关联模块，用于将样本文7本与目标知识图谱关联，得到树状结构文本；

第一确定模块，用于确定所述树状结构文本的可视化矩阵，所述可视化矩阵用于表示树状结构文本中两个词之间是否可见；

提取模块，用于基于多个所述树状结构文本和所述可视化矩阵通过Mask-Transformer网络分别提取样本特征，所述Mask-Transformer在Transformer中间增加可见表达M；

训练模块，用于基于提取到的多个样本特征，通过最小化目标函数训练意图识别模型。

8.一种意图识别装置，其特征在于，包括：

第二关联模块，用于将待识别文本与目标知识图谱关联，得到待识别文本的树状结构文本；

第二确定模块，用于确定待识别文本的树状结构文本的可视化矩阵；

第三确定模块，用于基于所述待识别文本的树状结构文本以及可视化矩阵通过根据权利要求1-3任一项训练的意图识别模型确定所述待识别文本对应的意图。