[发明专利]一种基于弱监督学习的联合信息抽取方法

权利要求书

1.一种基于弱监督学习的联合信息抽取，其特征即具体步骤如下：

S1，预处理通过网络爬虫获取到的文本信息，剔除掉无用信息，并和外部知识库文本对齐，进行自动标注；

S2，对自动标注的文本集进行筛选，对得到的部分文本采用基于序列化标注的Mutiple-BIO标注法进行标注；

S3，将S1和S2生成的数据集分为训练集和测试集，将训练集转换为嵌入向量形式，此步骤中预训练模型采用了表示学习中经典的TransE模型；

S4，使用双向长短期记忆神经网络对向量进行编码，有效地捕获每个词语的语义信息；

S5，使用LSTM解码层生成预测标签序列；

S6，将上步骤产生的标签预测向量，输入Softmax层，结合TransE链接预测概率，进行标签分类，输出该实体标签的概率；

S7，通过最大化以在某一句子条件下预测标签和真实标签相等的概率为底的对数，进行迭代优化目标函数，得到准确率更高的信息提取器。

2.根据权利1所述的一种基于弱监督学习的联合信息抽取方法，其特征在于，对于步骤S2，本发明采用基于序列化标注的Mutiple-BIO标注法对步骤S1中的部分数据进行手工标注，每个单词都被分配了一个有助于提取信息的标签，与提取结果无关的单词标记为“O”，其他标记由实体中的单词位置、关系类型和关系角色三部分组成，若某个实体属于多个三元组，则该实体包含了多个上述的三部分，以并列方式存在。

3.根据权利1所述的一种基于弱监督学习的联合信息抽取方法，其特征在于，对于步骤S3，本发明采用知识表示学习中的TransE模型，将训练集随机初始化为向量，以向量的形式作为输入，并产生训练集中实体集和预定义的关系集所对应的词向量作为输出，由于操作主要是调整正确三元组和错误三元组之间的误差，输出的实体关系词向量将根据调整过程中正样本向量的变化而改变，给定实体集、关系集和训练集后，通过训练集随机的替换头实体或者尾实体构建负样本，计算正确三元组实体和关系之间的距离、负样本中实体关系的距离，并调整两者之间的误差，将实体关系表示成符合现实关系的向量，TransE损失函数如下：

式(1)中，TransE的损失函数分为超参数、正样本距离和负样本距离之差两部分的和，γ表示超参数，f(h,r,t)表示正样本的距离，f(h',r',t')表示负样本的距离，Δ表示正样本集合，Δ'表示负样本集合，[x]₊表示max(0,x),其中距离公式为：

f(h,r,t)＝(h+r-t)² (2)

式(2)中，h表示头实体，r表示关系，t表示尾实体。