[发明专利]一种基于深度学习的知识抽取方法与装置

说明书

本发明公开了一种基于深度学习的知识抽取方法与装置。首先，本发明使用BERT+CNN模型抽取百科文本中存在的多种关系，该模型改进了CNN基本结构并增加Attention机制，进而提高抽取精度。接着，枚举抽取的多种关系，根据关系类型识别文本对应的头实体和尾实体，并使用基于概率的实体对筛选方法筛选实体对。最后，基于文本相似度的实体消歧算法实现筛选实体对中实体的消岐，该算法解决实体消歧可参照信息量少的问题。本发明在减少知识抽取计算量的同时，可以准确、全面地从百科文本中抽取三元组知识。

技术领域

本发明涉及一种基于深度学习的知识抽取方法与装置，该方法使用深度学习技术对百科文本进行知识抽取，属于自然语言处理技术领域。

背景技术

随着电子技术、计算机技术、互联网络技术等方面科学技术的不断发展与进步，互联网已经成为人们获取信息和资源最主要途径。百度百科、互动百科、维基百科网站等一些网络百科项目，是人们欢迎、使用广泛的参考工具书。例如，许多网民将维基百科视为一个重要信息来源。然而，百科文本内容纷繁杂乱，包含大量描述性语句。用户需要阅读大段的描述性语句才能获取自己想要的信息。知识抽取技术可以屏蔽原始数据的繁琐细节，从原始数据中提炼出简洁的知识。使用知识抽取技术从百科文本中抽取知识，有助于用户快速理解文本内容。

当前知识抽取主流方法分为实体识别、关系抽取和实体消歧三个步骤。实体识别，又称命名实体识别(Named Entity Recognition)，目标是抽取出文本中存在的多个实体，主流的方法包括基于规则的方法和基于机器学习的方法。实体识别后，穷举所有实体对，使用关系抽取技术抽取实体可能存在的关系。实体消歧可以在一定的上下文语境中，确定给定命名实体指称真正指向的实体概念。当前的知识抽取技术应用到百科文本中还存在以下问题：首先，百科文本通常一句话包含有多个实体。如果采用先实体识别再关系抽取的顺序，穷举多个实体对会大大增加知识抽取的计算量；其次，百科文本会出现包含多种关系和多个三元组的情况，从而导致准确率过低；最后，单个文本中抽取的实体相关描述信息量很少，难以利用少量的信息实现实体消歧。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提出了一种基于深度学习的知识抽取方法与装置，在减少知识抽取计算量的同时，可以准确、全面地从百科文本中抽取三元组知识。

技术方案：为实现上述发明目的，本发明所述的一种基于深度学习的知识抽取方法，首先使用BERT+CNN模型抽取百科文本中存在的多种关系；然后枚举存在的关系，根据关系识别文本中对应的头尾实体节点，并基于概率筛选实体对；最后根据相似度计算对识别出的实体进行实体消歧。该方法主要包括四个步骤，具体如下：

(1)使用BERT+CNN模型抽取百科文本中存在的实体间的关系，所述BERT+CNN模型通过BERT模型生成句子嵌入向量，并通过CNN模型抽取语义特征，CNN模型中增加Attention机制以加强特征抽取能力；

(2)对步骤(1)中抽取的每个关系，将其余对应的百科文本同时输入BERT模型，识别每个关系对应的头尾实体节点，针对每个文本序列，输出头实体的起始概率和结束概率，以及，尾实体的起始概率和结束概率；

(3)根据步骤(2)输出的概率，去除重复实体，并根据就近原则筛选实体对；

(4)计算筛选的实体与百科中的实体之间的相似度，并根据相似度找到百科中对应的实体，完成实体消歧过程。

作为优选，所述步骤(1)中在CNN模型卷积核结构基础上加入残差，设第l层卷积层输入序列为其中n为序列长度，为长度d的向量，卷积宽度为k，卷积核参数为W∈R^2d×kd，b_w∈R^2d，卷积核计算方式如下：

其中张量大小为R^2d，函数υ将该张量分为两部分，其中一个张量通过一个Sigmoid激活函数，再与另一个张量点积。