[发明专利]基于联合训练模型的信息抽取方法和系统

权利要求书

1.基于联合训练模型的信息抽取方法，其特征在于，包括如下步骤：

步骤1、对语料进行标注，得到包含标注信息的训练语料；

步骤2、对训练语料进行采样；

步骤3、将采样后的语料中的每个字转化成词向量；

步骤4、将所述词向量输入两个基于不同神经网络的深度学习模型进行联合训练，迭代更新联合模型的神经网络参数，得到训练好的信息抽取联合模型；

步骤5、将待抽取的文本输入所述信息抽取联合模型，提取出包含头实体、尾实体和实体关系的三元组信息；

步骤4中，将所述词向量输入的两个基于不同神经网络的深度学习模型，包括：一个用于识别头实体的神经网络模型和一个用于识别尾实体和关系的神经网络模型，用于识别头实体的模型采用双向GRU神经网络和卷积神经网络，模型输入为待抽取文本，输出为头实体位置信息，用于识别尾实体和关系的模型采用卷积神经网络，模型输入为待抽取文本和头实体位置信息，输出为含有关系标签的尾实体位置信息。

2.根据权利要求1所述的基于联合训练模型的信息抽取方法，其特征在于，步骤2中，对训练语料的采样的方法，包括：对每条文本中的实体和关系进行随机采样或者全采样。

3.根据权利要求1所述的基于联合训练模型的信息抽取方法，其特征在于，步骤3中，将语料中的文本转换成词向量的方法，包括：随机生成的词向量表示方法，或基于深度学习的语言模型训练得到的向量表示方法，或其它预训练语言模型训练得到的词向量表示方法。

4.根据权利要求1所述的基于联合训练模型的信息抽取方法，其特征在于，步骤4中，迭代更新联合模型的神经网络参数的方法，包括：使用焦点损失函数来计算预测值与真实值之间的差距，采用梯度下降算法来对神经网络参数进行优化。

5.根据权利要求1所述的基于联合训练模型的信息抽取方法，其特征在于，步骤5中，将待抽取的文本输入所述信息抽取联合模型后，提取出包含实体和实体关系的三元组信息的方法，包括：根据头实体模型预测出来的位置信息判断出头实体，再根据头实体的位置信息预测出尾实体和实体关系。

6.基于联合训练模型的信息抽取系统，其特征在于，包括：

语料标注单元，用于对语料进行标注，得到包含标注信息的训练语料；

语料采样单元，对训练语料进行采样；

文本词向量转换单元，用于将所述语料中的每个字转化成词向量；

深度学习模型联合训练单元，用于将所述词向量输入两个基于不同神经网络的深度学习模型进行联合训练，迭代更新联合模型的神经网络参数，得到训练好的信息抽取联合模型；将所述词向量输入的两个基于不同神经网络的深度学习模型，包括：一个用于识别头实体的神经网络模型和一个用于识别尾实体和关系的神经网络模型，用于识别头实体的模型采用双向GRU神经网络和卷积神经网络，模型输入为待抽取文本，输出为头实体位置信息，用于识别尾实体和关系的模型采用卷积神经网络，模型输入为待抽取文本和头实体位置信息，输出为含有关系标签的尾实体位置信息；

信息抽取三元组生成单元，将待抽取的文本输入所述信息抽取联合模型，提取出包含头实体、尾实体和实体关系的三元组信息。