[发明专利]一种基于多标注框架与融合特征的中文命名实体抽取方法

说明书

本发明公开了一种基于多标注框架与融合特征的中文命名实体抽取方法，该首先基于预训练语言模型对汉字进行编码。然后，通过词典匹配为每个汉字引入词信息与分词标记信息，构建词典特征。在此基础上，根据汉字在匹配词中的含义，使用汉语拼音软件对汉字进行注音，构建拼音特征。接着，基于点乘注意力机制融合词典特征与拼音特征到汉字编码中，得到结合词典特征与拼音特征的汉字语义编码，提升对于中文命名实体边界的识别能力。最后，结合序列标注与指标标注的优点，利用多任务学习模型联合学习两种标注任务，提高中文命名实体抽取的准确率。

技术领域

本发明属于人工智能和自然语言处理领域，具体涉及一种基于多标注框架与融合特征的中文命名实体抽取方法。

背景技术

随着互联网技术的飞速发展，各行业数据信息在爆发式增长，推动了行业大数据智能化分析挖掘服务与创新应用的发展，进一步推动着我国数字经济的发展。这些数据信息中包含大量的非结构化文本，从这些非结构化文本中抽取出结构化的有效信息成为了工业界关注的重点，而其中就涉及到自然语言处理领域中一个基础任务：命名实体抽取。

早期命名实体识别的研究工作主要是基于词典与规则的方法，这些方法主要依靠语言学家和领域专家依据数据集特征手工构造领域词典和规则模板。这种基于规则的方法的优点在于，可以根据需求不断地更新迭代规则来抽取目标实体。但是其缺点在于，面对一些复杂的领域和应用场景，人工建立规则的代价较大，并且随着规则库的扩大，容易产生规则冲突问题，使得已有的规则库难以维护与扩展，无法适应数据与领域的变化。

随后，基于统计机器学习的命名实体识别研究得到关注。命名实体识别在统计机器学习方法中被定义为序列标注问题。应用于NER的统计机器学习方法主要有最大熵模型、隐马尔可夫模型、最大熵马尔可夫模型、条件随机场等。这种方法依赖于人工构建的特征，过程比较繁琐。

近几年随着深度学习的不断发展，命名实体识别领域出现了越来越多的基于深度神经网络(Deep Neural Network，DNN)的工作。基于DNN的命名实体识别方法无需繁琐的特征工程，并且模型效果远超传统的规则以及统计机器学习方法。

中文命名实体识别相较于英文的更难，因为中文缺少英文文本中空格符这样的分隔符，也没有明显的词形变化特征，容易造成边界歧义。除此之外，中文还存在一词多义的现象，在不同领域或者不同上下文中，同一个词表现为不同的含义，需要充分利用上下文信息对词义进行理解。同时，中文还存在省略、简写等语言学特点，这些都给中文命名实体识别带来了更大的挑战。现有很多中文命名实体抽取方法缺乏对词信息的利用，并且标注框架单一、局限性较大，影响中文命名实体抽取的精度。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提出一种基于多标注框架与融合特征的中文命名实体抽取方法，以解决现有的中文命名实体抽取方法因标注框架单一，导致局限于单标注框架的问题，以及缺乏对词信息的利用，导致难以识别实体边界的问题。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种基于多标注框架与融合特征的中文命名实体抽取方法，包括以下步骤：

(1)对输入汉字序列中的每个汉字在外部词典中进行词匹配，利用词向量查询表将词映射成词向量，利用分词标记向量查询表将汉字在词中的分词标记映射成分词标记向量，所述分词标记向量与词向量拼接构成词典特征；

(2)根据汉字在匹配词中的含义对汉字注上拼音，通过拼音向量查询表对所述拼音映射得到拼音特征；

(3)基于点乘注意力机制将所述词典特征与拼音特征融合到中文预训练语言模型BERT得到的汉字编码中，为后续提供结合词典特征与拼音特征的汉字语义编码；

(4)将所述汉字语义编码分别输入到两个独立的双向长短期记忆网络模型中进行特征序列建模，分别输出得到第一特征序列编码与第二特征序列编码