[发明专利]一种融入动态词向量的关系抽取系统

权利要求书

1.一种融入动态词向量的关系抽取系统，该系统包括：

语料采集模块，采用远程监督的方式，从知识库随机抽取关系三元组，并以三元组中的实体对为关键字，利用爬虫系统，从海量网络文本中爬取含有该实体对的语句，作为训练语料，并存入数据库中；

动态词向量生产模块，其将语句字符转化为向量，首先从上述数据库中提取语句语料，送入深度双向语言模型，输出相应的动态词向量，进一步计算得到句向量，并送入关系抽取模块中进行训练；

关系抽取模块，该模块使用的模型是引入注意力机制的分段神经网络模型，通过大量的训练语句训练模型，然后将模型保存，用来预测新文本语句的实体关系类别；

其中，所述分段神经网络模型的输入为包含实体对的训练语句；

且所述训练语句被所述实体对分为三段，并将其映射为相应的三段词向量；

使用卷积神经网络，分别对所述三段词向量进行特征提取，得到三段特征向量，分别计算所述三段特征向量的权重与关系向量；具体采用如下公式计算所述三段特征向量的权重和关系向量：

b_i＝Conv(vector_{sentence_i}),i＝1,2,3 (1)

w_i＝w_a^T(tanh[b_i；v_relation])+b_a (2)

v_relation＝v_ent1-v_ent2 (4)

其中，b_i表示句子sentence第i部分经卷积神经网络提取的特征向量，vector_{sentence_i}表示句子sentence第i部分词向量；w_i表示第i部分特征向量融合关系向量后，新得到的特征向量，w_a、b_a为模型参数；α_i为特征向量权重，v_relation为关系向量；v_ent1和v_ent2分别表示第一实体向量和第二实体向量；

根据得到的特征向量的权重，将三段特征向量与相应的权重相乘，并进行拼接即可得到最终的句向量表示，所述句向量通过一个全连接层后进行softmax分类，具体采用如下方式：

s＝contact[b₁·α₁；b₂·α₂；b₃·α₃] (5)

c＝softmax(w·s+b) (6)

其中，s表示每个w经过加权求和后，拼接起来的新向量；c表示类别的向量；w表示特征向量融合关系向量后，新得到的特征向量；b表示句子sentence经卷积神经网络提取的特征向量。

2.根据权利要求1所述的系统，其特征在于，所述语料采集模块还具有数据清洗功能，过滤无效的非文本数据，按语句文本长度将爬取的语句存入数据库中。

3.根据权利要求2所述的系统，动态词向量根据不同语句生成，设定一个语句长度阈值，大于该阈值则截取，小于该阈值则补齐；将对齐后的语句输入动态词向量生成模块，输出为句中每个词的词向量，进行拼接后，得到该语句的句向量。

4.根据权利要求3所述的系统，所述关系抽取模块以所述动态词向量生产模块生产的句向量作为输入，抽取语句中实体对的关系，输出该语句所属的类别。

5.根据权利要求4所述的系统，其特征在于，所述深度双向语言模型为ELMO模型或BERT模型。