[发明专利]基于跨度和注意力机制的中文实体与关系抽取方法及装置

说明书

本发明公开了基于跨度和注意力机制的中文实体与关系抽取方法及装置。本发明对中文语句分词后构造跨度集，将跨度集映射为向量空间的词向量集，使用基于跨度的预训练语言模型生成特征表示，使用注意力机制得到融合特征，构造特征向量使用分类器输出跨度的实体类型；在跨度的两侧加入边界信息和跨度类型信息作为先验信息，使用注意力机制得到跨度对的关系表示，通过分类器来输出将跨度对的关系类型。本发明实现了中文语句的实体与关系联合抽取，实体抽取和关系抽取分开建模独立训练，模型灵活度高，逻辑结构清晰，层次分明，节约了人力成本，提升了工作效率，准确率高，实用性强。

技术领域

本发明属于自然语言处理的信息抽取领域，特别涉及一种基于跨度和注意力机制的中文实体与关系抽取方法。

背景技术

中文实体抽取和关系抽取是中文自然语言处理的关键任务，也是中文知识图谱构建、智能问答的核心关键技术。

近年来，人工智能技术快速发展，特别是深度学习技术取得了巨大突破，从 CNN(卷积神经网络)、RNN(循环神经网络)到LSTM（Long Short-Term Memory，长短期记忆人工神经网络），再到预训练语言模型BERT（Bidirectional Encoder Representation fromTransformers,基于转换器的双向编码表征），引领了自然语言处理、图像处理、计算机视觉等人工智能技术应用的发展浪潮。同时在大数据技术的推动下，移动互联网蓬勃发展，产生了丰富多样的数据要素资产，海量的数据资源进一步地推动了自然语言处理领域的发展，也为自然语言处理领域技术带来了新的问题与挑战。中文是世界上最复杂多样与多意的语言之一，有着复杂的语法规则，海量数据可以有效辅助计算机去识别中文的语法规则。计算机要读懂中文，需要先把语言处理转化成可以识别的表示，实体抽取和关系抽取是其中最基本也是最重要的任务之一。

实体抽取，也叫命名实体识别（Named Entities Recognition，NER），它的核心工作是识别标识出文本中的实体并进行分类，常见的实体包括人名、地名、机构名等等，传统的实体抽取主要基于字典或者统计学来进行实体匹配抽取，随着机器学习和深度学习技术的发展，通过模型预测进行实体标识与抽取分类成为主流，例如CNN-CRF模型、BiLSTM-CRF模型等等。

关系抽取是自然语言处理中另一个重要工作，它需要识别标记出文本中存在的多个实体之间的关系，也就是识别出文本中的关系三元组，即主体（subject）、关系（relation）、客体（relation），关系抽取是知识图谱构建、问答系统的基础。

在知识图谱构建等自然语言处理任务中，实体和实体之间的关系是及其重要和不可或缺的，实体抽取和关系抽取是知识图谱构建等任务的关键与核心。实体抽取和关系抽取从非结构化文档中自动抽取的实体以及实体之间的关系，被广泛应用于金融、医药、法律等领域的中文文本处理任务中。自动化的实体与关系抽取技术避免人工从海量数据中手工提取文本信息，节省了人力成本，显著提高了工作效率和生产力。

目前已知的中文实体抽取和关系抽取技术，存在下列不足：

1）有些实体抽取和关系抽取将实体抽取和关系抽取作为两个任务独立完成，但忽略了实体抽取和关系抽取之间的联系；近年来表现出色的基于变压器（Transformer）模型的实体和关系联合抽取方法部分改进了上述问题，但是实体和关系使用同一个变压器模型，关系抽取过分利用实体抽取的信息，造成了信息冗余和干扰，准确度和灵活性有待提升。

2）现有实体抽取和关系抽取方法对语句中不同词语之间的位置关系信息利用不足，关系抽取准确率有待提升。通常情况下，词语出现的位置以及词语之间的关系对于文本的理解有很大的帮助，实体出现在不同的位置或者不同的先后顺序会对实体的含义以及实体之间的关系识别带来影响。

发明内容

针对现有技术的不足，本发明提出一种基于跨度和注意力机制的中文实体与关系抽取方法及装置。本发明方法基于跨度，利用实体抽取的位置和类型信息作为先验信息，提升了实体对关系抽取的准确率。