[发明专利]基于联合训练模型的信息抽取方法和系统

说明书

本发明提出一种基于联合训练模型的信息抽取方法和系统，属于自然语言处理和深度学习技术领域。为解决现有信息抽取技术中存在的耗费大量的人力和时间、模型的灵活性不高、错误传递和信息抽取不完全的问题，本发明包括：对语料进行标注，得到包含标注信息的训练语料；对训练语料进行采样；将采样后的语料中的每个字转化成词向量；将所述词向量输入两个基于不同神经网络的深度学习模型进行联合训练，迭代更新联合模型的神经网络参数，得到训练好的信息抽取联合模型；将待抽取的文本输入所述信息抽取联合模型，提取出包含头实体、尾实体和实体关系的三元组信息。

技术领域

本发明涉及自然语言处理和深度学习技术领域，特别涉及一种基于联合训练模型的信息抽取方法和系统。

背景技术

随着信息技术的迅速发展和硬件设备的不断升级，利用海量数据通过深度学习模型从文本中提取相应信息的需求越来越大，并应用于各种不同的场景中。信息抽取就是从非结构化的文本中提取出结构化的信息，通常情况下，信息抽取任务主要分为实体抽取和关系抽取两个子任务，常用的方法包括基于规则的方法，基于机器学习的方法和基于深度学习的方法。

早期的信息抽取任务主要是基于规则和统计的方法，该方法可分为两个阶段：一是构建规则表达式，二是利用规则表达式对文本进行信息抽取。这种方法需要规则构建人员具有丰富的语言学知识，并且能够穷举到尽可能多的需要匹配的文本元素，所以该方法存在的问题就是需要大量的人力和时间，一个具有较高准确度和精确性的信息抽取模型需要耗费很多人力资源和时间才能完成。

现有技术中，申请号为CN 108647194 A的专利申请提供了一种信息抽取方法及装置，该方法利用统计模型来识别所述文本中的实体和依存成分，从一定程度上扩大了识别词汇的范围，但仍需要通过构建规则来对统计模型进行调用，针对不同的语言场景需要更换不同的规则，模型灵活性不高且前期的规则编写耗时耗力。

申请号为CN 109165279 A的专利申请提供了一种信息抽取方法及装置，该方法完全摆脱了规则的束缚，利用标注语料和深度学习算法来对信息抽取模型进行训练，有效提高了信息抽取的效率。但该方法仅利用双向长短期记忆网络(Bi-LSTM)来对文本中的部分功能性词汇进行抽取，没有抽取出文本中的实体和实体关系。

申请号为CN 108959286 A的专利申请提供了一种信息抽取方法和信息抽取设备，该信息抽取方法采用的是目前较为常用的先识别实体后识别关系的方式，但这种方式存在错误传递的问题，一旦识别实体模块出现错误，该错误将会被传递到关系抽取模块。同时，该方法无法识别出同一对实体存在多种不同关系的情况。

综上所述，现有信息抽取技术存在以下几点问题：

1)基于规则的方法需要耗费大量的人力和时间来对规则进行编写，而且规则无法覆盖复杂的语法结构，模型的灵活性不高。

2)常用的基于机器学习和深度学习的信息抽取模型，采用先识别实体后识别关系的方式，这种方式通常存在错误传递的问题，如果实体抽取错误，那么关系抽取模块也将受到影响。

3)目前的大多数信息抽取模型在抽取三元组时，由于序列标注模型的限制，一般一对实体之间只能预测一种关系，但实际往往同一对实体存在多种关系的情况，所以该类方法存在信息抽取不完全的问题。

发明内容

本发明的目的是提供一种基于联合训练模型的信息抽取方法和系统，解决现有信息抽取技术中存在的耗费大量的人力和时间、模型的灵活性不高、错误传递和信息抽取不完全的问题。

本发明解决其技术问题，采用的技术方案是：基于联合训练模型的信息抽取方法，包括如下步骤：

步骤1、对语料进行标注，得到包含标注信息的训练语料；

步骤2、对训练语料进行采样；

步骤3、将采样后的语料中的每个字转化成词向量；