[发明专利]一种基于多层注意力的通信领域过程类事件语义消岐方法

权利要求书

1.一种基于多层注意力的通信领域过程类事件语义消岐方法，其特征在于，包括：

S1：事件属性分解

将每一个事件分为三类属性，包括事件文本、事件触发词、事件元素；

S2：特征表示

对事件文本和事件元素基于词汇注意力机制进行表示，事件触发词直接使用词嵌入表示；

S3：事件表示聚合

将事件的三个特征通过异质特征注意力机制进一步整合，获得事件表示向量；

S4：事件消岐

不同事件的表示向量点乘计算事件相似度，根据获取的相似性预测概率得到不同事件的关系标签，从而实现事件语义消歧。

2.根据权利要求1所述的一种基于多层注意力的通信领域过程类事件语义消岐方法，其特征在于：在所述步骤S1中，事件文本是一段短文本序列，记为Tex_A；事件触发词包括触发类型、触发位置以及触发词汇，记为Tri_A；事件元素包括元素类型、元素位置以及元素名称，记为Arg_A，其中下标A表示事件Event_A。

3.根据权利要求2所述的一种基于多层注意力的通信领域过程类事件语义消岐方法，其特征在于：在所述步骤S2中，事件文本通过第一多层注意力模型进行表示，第一多层注意力模型包括三层，分别为故障文本初始嵌入层、第一上下文语义表示层、第一基于词汇注意力机制的文本信息聚合网络。

4.根据权利要求3所述的一种基于多层注意力的通信领域过程类事件语义消岐方法，其特征在于：在故障文本初始嵌入层中，对故障文本进行分词，得到序列长度为L_t的文本通过初始化嵌入矩阵M_e，其中，L表示词汇表中的词汇数目，D₁表示每一个词汇的初始向量维度，获得文本序列Tex_A中词汇的语义表征在第一上下文语义表示层中，对文本序列Tex_A的嵌入表示通过卷积神经网络操作之后第i个词汇的上下文语义表征为：

其中，表示第i个词汇上下k个词汇的拼接嵌入向量，维度为(2k+1)×D₁，(2k+1)表示卷积神经网络上下文窗口长度，和是卷积神经网络滤波器的参数矩阵，是权重参数矩阵，是偏置项，f_t表示滤波器数目；

在所述第一基于注意力机制的文本信息聚合网络中，定义文本序列Tex_A中第i个词汇的重要性权重为：

其中，和是注意力机制训练过程中不断训练优化的参数矩阵，下角标a表示以上参数为注意力相关的权重，是权重参数矩阵，是偏置项，和分别是文本序列第i和第j个词汇的重要性，通过Softmax归一化得到最终的词汇注意力权重，L_t是文本序列长度；最终通过将事件文本中每一个词汇的上下文嵌入表示和注意力权重相乘叠加实现信息的聚合，得到事件文本的表示r^T：

5.根据权利要求4所述的一种基于多层注意力的通信领域过程类事件语义消岐方法，其特征在于：在所述步骤S2中，事件元素通过第二多层注意力模型进行表示，第二多层注意力模型包括三层，分别为事件元素文本初始嵌入层、第二上下文语义表示层、第二基于词汇注意力机制的事件元素信息聚合网络。