[发明专利]基于Transformer结构的自动化关系抽取系统

权利要求书

1.一种基于Transformer结构的自动化关系抽取系统，其特征在于其包括：

用户输入层、数据预处理层、模型训练层和关系实例输出层；

所述用户输入层根据用户输入的数据类型选择相应的工作模式，包括有监督训练模式、远程监督训练模式以及半监督关系抽取模式；

所述数据预处理层根据选择的工作模式按照模型需求对用户输入的数据进行预处理，得到分句后的文本语料数据和模型训练数据，并将预处理后的模型训练数据发送到所述模型训练层进行训练，将分句后的文本语料数据发送到所述关系实例输出层；

所述模型训练层采用接收到的模型训练数据进行模型训练，得到最优训练模型；

所述关系实例输出层采用所述最优训练模型从分句后的文本语料数据中抽取实体关系三元组，作为系统的输出；

所述数据预处理层根据选择的工作模式按照模型需求对用户输入的数据进行预处理是指：在有监督训练模式下，将文本语料进行分句，将数据集分割为训练集、验证集和测试集三个部分，并将训练集、验证集和测试集分别处理为命名实体识别模型和关系分类任务模型的输入格式，作为有监督训练数据；在远程监督训练模式下，对文本语料分句，选择部分句子和知识库对齐用以生成含噪声的数据集，然后将含噪声的数据集处理成远程监督关系抽取模型需要的输入格式，作为远程监督训练数据；在半监督关系抽取模式下，对文本语料分句，并用NLP工具识别出其中的目标实体作为半监督训练数据；

所述模型训练层进行模型训练时，采用流水线方法构建有监督关系抽取模型，采用编码-解码架构构建远程监督关系抽取模型，采用生成对抗思想构建半监督关系抽取模型；

所述有监督关系抽取模型包括命名实体识别模型和关系分类任务模型；

所述命名实体识别模型包括6层第一Transformer结构和CRF层；各层所述第一Transformer结构均包括位置向量表示层、输入向量表示层、多头注意力网络层、第一残差连接和归一化层、前馈神经网络层和第二残差连接和归一化层；其中，位置向量表示层用于将每个位置编号，每个编号对应一个向量，向量是随机初始化的，在训练中更新；所述输入向量表示层用于下载Word2Vec词向量表，通过查表，每个词对应一个唯一的向量作为初始化的向量表示，在训练中也会更新；所述位置向量表示层和输入向量表示层的数据拼接后发送到所述多头注意力网络层和第一残差连接和归一化层；所述多头注意力网络层用于对输入的数据进行自注意力操作处理后发送到所述第一残差连接和归一化层；所述第一残差连接和归一化层根据接收到的数据进行处理，以缓解反向传播过程中的梯度消失问题，处理结果分别发送到所述前馈神经网络层和第二残差连接和归一化层；所述前馈神经网络层对接收到的数据进行处理后发送到所述第二残差连接和归一化层；所述第二残差连接和归一化层根据接收到的数据进行处理，处理结果发送到CRF层；所述CRF层对接收的数据进行序列标注，得到每个单词对应的标签；

所述关系分类任务模型包括6层第二Transformer结构、线性层和Softmax层，各层所述第二Transformer结构与所述第一Transformer结构相同，所述第二Transformer结构的输出经所述线性层进行线性变换后输入所述Softmax层分类；

所述远程监督关系抽取模型包括编码器部分和解码器部分；所述编码器部分包括句子包层、第三Transformer结构层、句子特征向量层以及编码器输出层；所述句子包层是指含有相同关系实例的句子构成的句子集合，用于降低远程监督数据集包含的噪声；所述第三Transformer结构层用于从所述句子包层中提取句子特征向量，并发送到所述句子特征向量层；所述句子特征向量层用于将各句子特征向量进行合并，得到句子包的句子特征向量；所述编码器输出层将所述句子特征向量发送到所述解码器部分；

所述解码器部分包括第四Transformer结构，所述第四Transformer结构在每一时刻的输入包括两部分，一是所述编码器部分的输出向量，另一个是上一时刻所述解码器部分的输出；

所述半监督关系抽取模型包括模板组件和分布式组件；所述模板组件用于从初始的种子实例中抽取模板，并用抽取到的模板去文本中挖掘新的实体对；所述分布式组件用于利用所述实体对训练分类器，并对各实体对进行打分，得到各实体对的置信度。

2.如权利要求1所述的一种基于Transformer结构的自动化关系抽取系统，其特征在于：所述用户输入层根据用户输入的数据类型选择相应的工作模式是指：当用户给定目标实体和关系类型、文本语料和手工标注的训练数据时，则系统工作在有监督训练模式上；当用户给定目标实体和关系类型、文本语料时，则系统工作在远程监督训练模式上；当用户给定目标实体和关系类型、文本语料和关系实例时，系统工作在半监督关系抽取模式上。