[发明专利]一种基于类型注意力的神经零样本细粒度实体分类方法

说明书

本发明公开了一种基于类型注意力的神经零样本细粒度实体分类方法，具体为：基于目标实体文本中各单词对应的单词向量，计算目标实体文本表示向量；基于句子中目标实体文本两侧各单词分别对应的语境单词向量，获取目标实体文本的基础语境向量；基于目标实体文本中各实体对应的类型，构建实体类型向量；基于目标实体类型向量及基础语境向量，计算两侧单词分别对应的相关注意力值；基于相关注意力值及基础语境向量，计算目标实体文本的相关语境向量；合并目标实体文本的实体表示向量和相关语境向量，获取整个句子的表示向量，利用已创建的实体类型分类器模型，获取目标实体文本属于各给定类别的分值，并有效改善实体细粒度分类的效果。

技术领域

本发明属于信息处理技术领域，具体涉及一种基于类型注意力的神经零样本细粒度实体分类方法。

背景技术

实体分类的人物是识别实体文本的语义类型，如人物名，地点名，组织名等。该人物有助于精确定位文本中的实体，对于自然语言处理中的很多其他任务具有重要的意义。

实体识别是信息抽取领域内关键性的基础任务。实体识别的输出可作为很多下游自然语言处理任务的输入特征，提高下游任务效果，例如关系抽取、问答、主题模型等。

目前，研究者们发现更细粒度的实体类型会对下游任务有更大的提高，因此研究者们将实体类型的粒度变细，扩充实体类型的数量，发展出了细粒度实体分类任务(Fine-Grained Entity Typing)。

粗粒度实体识别和细粒度实体分类任务早期的方法主要依赖于手工特征。由于手工特征费时费力，且应用范围局限性强，近年来研究者们使用深度学习替代了传统手工特征的方法。另一方面，在很多情况下，训练模型需要大量有标注数据，而人工标注数据成本很高，少样本甚至零样本的实体分类与识别也成为一个需要研究的课题。此外，由于细粒度实体类型众多，且一个实体提及会有多种细粒度实体类型，粗粒度实体识别使用的序列标注模型不适用于端到端进行细粒度实体识别，这也是需要解决的问题。

发明内容

本发明的目的在于克服现有技术中的缺陷，并提供一种基于类型注意力的神经零样本细粒度实体分类方法。用以有效提高分类模型的稳定性，并有效改善细粒度实体分类的效果。

本发明所采用的具体技术方案如下：

一种基于类型注意力的神经零样本细粒度实体分类方法，其包括如下步骤：

S1：基于目标实体文本中各单词对应的单词向量，计算所述目标实体文本的实体表示向量；

S2：基于目标实体文本所在句子中目标实体文本两侧各单词分别对应的语境单词向量，获取目标实体文本的基础语境向量；

S3：基于目标实体文本中各实体对应的类型，构建目标实体类型向量；

S4：基于所述目标实体类型向量及基础语境向量，计算目标实体文本两侧各单词分别对应的注意力值，之后对注意力值进行归一化处理，得到归一化注意力值；

S5：基于所述归一化的注意力值及所述基础语境向量，计算目标实体文本的相关语境向量；

S6：合并所述目标实体文本的实体表示向量和相关语境向量，获取整个句子的表示向量；基于该句子的表示向量，利用已创建的实体类型分类器模型，获取目标实体文本属于各给定类别的分值。

作为优选，所述S1具体如下：求取目标实体文本中各单词所对应单词向量的平均值，并作为所述目标实体文本的实体表示向量。

作为优选，其特征在于，所述S2具体如下：

将目标实体文本所在句子中目标实体文本前侧各单词分别对应的前侧单词向量以及后侧各单词分别对应的后侧单词向量分别输入到双向循环神经网络中，获取所述前侧各单词分别对应的前向基础语境向量和所述后侧各单词分别对应的后向基础语境向量。