[发明专利]一种基于类型注意力的神经零样本细粒度实体分类方法

权利要求书

1.一种基于类型注意力的神经零样本细粒度实体分类方法，其特征在于，包括如下步骤：

S1：基于目标实体文本中各单词对应的单词向量，计算所述目标实体文本的实体表示向量；

S2：基于目标实体文本所在句子中目标实体文本两侧各单词分别对应的语境单词向量，获取目标实体文本的基础语境向量；

S3：基于目标实体文本中各实体对应的类型，构建目标实体类型向量；

S4：基于所述目标实体类型向量及基础语境向量，计算目标实体文本两侧各单词分别对应的注意力值，之后对注意力值进行归一化处理，得到归一化注意力值；

S5：基于所述归一化的注意力值及所述基础语境向量，计算目标实体文本的相关语境向量；

S6：合并所述目标实体文本的实体表示向量和相关语境向量，获取整个句子的表示向量；基于该句子的表示向量，利用已创建的实体类型分类器模型，获取目标实体文本属于各给定类别的分值。

2.根据权利要求1所述的神经零样本细粒度实体分类方法，其特征在于，所述S1具体如下：求取目标实体文本中各单词所对应单词向量的平均值，并作为所述目标实体文本的实体表示向量。

3.根据权利要求1所述的神经零样本细粒度实体分类方法，其特征在于，所述S2具体如下：

将目标实体文本所在句子中目标实体文本前侧各单词分别对应的前侧单词向量以及后侧各单词分别对应的后侧单词向量分别输入到双向循环神经网络中，获取所述前侧各单词分别对应的前向基础语境向量和所述后侧各单词分别对应的后向基础语境向量。

4.根据权利要求3所述的神经零样本细粒度实体分类方法，其特征在于，所述双向循环神经网络为双向LSTM循环神经网络。

5.根据权利要求1所述的神经零样本细粒度实体分类方法，其特征在于，所述S3具体步骤如下：

对于目标实体文本中的每个实体类型，选择实体提及作为该实体类型的原型；使用原型集合中原型的预训练词嵌入向量之和的平均值作为初始实体类型的嵌入式表示；再使用所述初始实体类型的嵌入式表示组成矩阵，结合实体类型的层级信息，获取实体类型的嵌入式表示作为目标实体类型向量。

6.根据权利要求3所述的神经零样本细粒度实体分类方法，其特征在于，所述S4具体步骤如下：

基于所述前向基础语境向量和所述目标实体类型向量，计算所述前侧各单词分别对应的前向知识库相关注意力值，具体如下：

式中，表示目标实体文本所在句子中目标实体文本前侧相邻的第i个单词对应的前向基础语境向量；表示目标实体文本所在句子中目标实体文本前侧相邻第i个单词对应的类型t_k的注意力值；为双线性矩阵，与实体类型t_k越相关的单词，其权重就会越高；

之后对注意力值进行归一化处理：

式中，exp(x)表示对x进行幂指数操作，表示目标实体文本所在句子中目标实体文本前侧相邻第i个单词对应的类型t_k归一化后的注意力值，C表示前向基础语境向量的数量的某一固定值；

基于所述后向基础语境向量和所述目标实体类型向量，利用给定的非负函数公式，计算所述后侧各单词分别对应的后向知识库相关注意力值，具体方法与所述前向知识库相关注意力值相同。

7.根据权利要求6所述的神经零样本细粒度实体分类方法，其特征在于，所述S5具体步骤如下：

以所述前向知识库相关注意力值和所述后向基础语境向量作为相应权值，对所述前向基础语境向量和所述后向基础语境向量加权求平均，计算目标实体文本的相关语境向量。