[发明专利]一种基于句法依存关系的命名实体识别方法

说明书

本发明涉及一种基于句法依存关系的命名实体识别方法。在命名实体识别中，只有当模型所识别到的实体边界和类型都与标注实体的边界和类型相匹配，才算是真阳例(TP)。在大多数测试样本中，假阳例(FP)和假阴例(FN)往往都是由于实体的边界判断不正确造成的，也就是说边界识别比类型识别困难得多。本发明提出使用自注意力机制来削弱实体与实体以外单词的联系，并加强实体内部单词之间的关系。具体的是在双向长短期记忆网络(Bi‑LSTM)网络之后，添加自注意力机制，把句法依存树中单词之间的依存关系编码进上下文信息，最后根据Bi‑LSTM网络提供的全局特征以及句法依存树提供的局部特征，共同来判断实体边界。本发明提高了命名实体识别的准确率。

技术领域：

本发明涉及深度学习领域，涉及文本中命名实体识别技术。

背景技术

传统的命名实体识别方法依赖大量的人为定义的特征，然而这类手工定义特征的方法不仅耗时耗力，还需要有领域以及语言方面知识的专业人员。近年来，深度学习依靠其强大的数据挖掘能力，最大化的减少了手工构建特征的成本，并在图像分类、语音识别以及自然语言处理等领域取得了令人瞩目的成就。因此，利用深度学习方法进行命名实体识别具有重大的研究意义。

在文本中，准确的识别命名实体类型及其实体边界对开发复杂的自然语言系统，如信息提取、问题回答、文本摘要等具有极大的影响。在命名实体识别中，只有当模型所识别到的实体边界和类型都与标注实体的边界和类型相匹配，才算是真阳例(TP)。在大多数测试样本中，假阳例(FP)和假阴例(FN)往往都是由于实体的边界判断不正确造成的，也就是说边界识别比类型识别困难得多。而大多深度网络模型中并没有针对边界识别的特定功能，使得模型往往在类型判断上准确率较高，而在边界判断上准确率较低。

发明内容：

本发明的目的是提供一种在文本中能更加准确识别命名实体边界以及类型的方法。

为解决上述技术问题，本发明提供了一种基于句法依存关系的命名实体识别方法，包括如下步骤：

步骤S1，在模型训练阶段，首先用预训练过的Word2vec把one-hot单词向量映射到定义好的低维空间，得到每个单词的词向量；

步骤S2，使用双向长短期记忆网络(Bi-LSTM)对句子中每个时间步的词向量分别进行前向和后向的编码，并拼接得到拥有上下文信息的全局特征；

步骤S3，用句法分析技术得到每个句子的句法依存树，计算树上两两单词之间的最短依赖路径；

步骤S4，根据最短依赖路径得到每个单词的自顶向下以及自底向上的特征序列并输入LSTM网络，计算得到单词局部特征；

步骤S5，通过局部特征点积来计算两两单词之间的关系权重并进行归一化；

步骤S6，使用自注意力机制以归一化的关系权重将单词之间的局部关系特征融入全局特征中，得到融合特征；

步骤S7，根据融合特征初步预测序列标签，使用CRF对预测序列进行精修，得到最终标签序列；

步骤S8，在模型测试阶段，使用上述步骤训练好的网络来进行命名实体识别。

进一步，步骤S1中在模型训练阶段，首先用预训练过的Word2vec把one-hot单词向量映射到定义好的低维空间，得到每个单词的词向量包括：

记词典大小为V，采用预训练过的Word2vec把维度为V的one-hot单词向量映射到定义好的低维空间，输出的词向量维度记为d。对于长度为T的输入样本序列{w₁，w₂，...w_T}，嵌入层的输出记为{x₁，x₂，...x_T}，其中x_t∈R^1×d；