[发明专利]基于Transformer结构的自动化关系抽取系统

说明书

本发明涉及一种基于Transformer结构的自动化关系抽取系统，其包括用户输入层、数据预处理层、模型训练层和关系实例输出层；用户输入层根据用户输入的数据类型选择相应的工作模式；数据预处理层根据选择的工作模式按照模型需求对用户输入的数据进行预处理，得到分句后的文本语料数据和模型训练数据，并将预处理后的模型训练数据发送到模型训练层进行训练，将分句后的文本语料数据发送到关系实例输出层；模型训练层采用接收到的模型训练数据进行模型训练，得到最优训练模型；关系实例输出层采用最优训练模型从分句后的文本语料数据中抽取实体关系三元组，作为系统的输出。本发明可以广泛应用于关系抽取领域。

技术领域

本发明涉及关系抽取领域，特别是关于一种基于Transformer结构的自动化关系抽取系统。

背景技术

关系抽取旨在从文本中识别实体并抽取实体之间的语义关系。现有的主流关系抽取技术可以分为有监督关系抽取、弱监督关系抽取和无监督关系抽取三种，介绍如下：

1、有监督关系抽取技术可以分为联合抽取和流水线抽取两种。前者目前并没有发展出一种统一和实用的方法，且通常依赖于复杂的数据预处理或者复杂的建模过程。而后者通过将关系抽取任务分解为上游的命名实体识别任务和下游的关系分类任务，大大简化了任务复杂度。同时由于命名实体识别和关系分类都属于基本的自然语言处理任务，所以可以充分利用NLP(自然语言处理)领域最新的技术来提升模型效果。

2、关系抽取领域主流的弱监督学习方法有远程监督和半监督两种。前者通常利用已有的知识库(如freebase)，用启发式方法构建一个含噪声的数据集，再在传统的有监督关系抽取技术基础上加入降噪措施以训练出鲁棒的关系抽取模型。后者主要采用Bootstrapping方法进行关系抽取，对于要抽取的关系，该方法首先手工设定少量种子实例，然后迭代地从海量文本中抽取对应的关系模板和更多的关系实例。

3、无监督的学习方法假设拥有相同语义关系的实体对拥有相似的上下文信息，因此可以利用每个实体对对应的上下文信息来代表该实体对的语义关系，并对所有实体对的语义关系进行聚类。

目前流行的自动化关系抽取工具，如清华大学开源的神经网络关系抽取工具包OpenNRE，只集成了有监督和远程监督模型。其中，有监督模型需要提供大量高质量的标注训练语料，而标注训练语料是一件费时费力的工作，导致模型实用性不强；而远程监督模型的局限性在于实体和关系的类型必须是存在于知识库中的，否则方法会失效。而半监督模型通常只需要用户提供少量种子关系实例，就可以训练出相对有效的关系抽取模型，因此是相当实用的一种方法，而上述自动化关系抽取工具并未集成。

此外，基于神经网络的关系抽取模型通常面临复杂的数据预处理、模型结构选择、超参数调优等困难，这对没有深度学习经验的普通用户来说是不现实的。而目前的关系抽取工具包不提供自动超参数调优等功能。

目前在关系抽取领域被广泛采用的循环神经网络(RNN)结构存在处理长距离依赖能力不足、不能并行计算等缺点，而谷歌最新提出的Transformer结构理论上可以解决长距离依赖问题，并且网络层数可以做得很深，所以捕捉特征的能力更强，同时Transformer结构可以并行计算，大大提高了训练效率。

发明内容

针对上述问题，本发明的目的是提供一种基于Transformer结构的自动化关系抽取系统，该系统可以自动进行数据预处理、超参数调优，且集成了有监督、远程监督、半监督三种关系抽取模型。