[发明专利]信息抽取模型训练方法、信息抽取方法、装置及电子设备

说明书

本申请提供了一种信息抽取模型训练方法、信息抽取方法、装置及电子设备，应用于深度学习技术领域，其中该方法包括：将领域知识引入到深度学习中进行信息抽取，从而不需要大量的样本训练即能使得训练的模型学习到领域知识，进而提升了模型训练的效率以及提升模型预测的准确度。

技术领域

本申请涉及深度学习技术领域，具体而言，本申请涉及一种信息抽取模型训练方法、信息抽取方法、装置及电子设备。

背景技术

现阶段，信息抽取研究领域中，一般采用序列标注的框架，然后使用各种深度学习模型进行建模，通过数据驱动的的方式，来抽取实体以及实体间关系。然而，在整个过程中，人类的领域知识没有办法直接用于建模中，比如，“我吃了一个苹果”，“苹果特别好用”，前面一个苹果指的是水果，后面一个苹果指的是苹果手机，在抽取的时候需要学习到这2个区别，需要训练数据中存在大量相关的区分数据，让模型能够学习到2者之间的区别。

发明内容

本申请提供了一种信息抽取模型训练方法、信息抽取方法、装置及电子设备，将领域知识引入到深度学习中进行信息抽取，从而不需要大量的样本训练即能使得训练的模型学习到领域知识，进而提升了模型训练的效率以及提升模型预测的准确度。本申请采用的技术方案如下：

第一方面，提供了一种信息抽取模型训练方法，包括：

步骤一、构建初始信息抽取模型，初始信息抽取模型包括多层深度学习网络；

步骤二、将文本样本序列输入至多层神经网络得到预测序列；

步骤三、基于文本样本对应的标注序列以及预测序列确定第一损失函数值；

步骤四、基于预构建的领域知识规则对文本样本进行匹配，并基于匹配结果确定第二损失函数值；

步骤五、基于第一损失函数值与第二损失函数值确定第三损失函数值；

步骤六、基于第三损失函数值更新多层深度学习网络的参数；

迭代执行上述步骤，直至得到的第一损失函数值收敛时，得到训练成功的目标信息抽取模型。

可选地，基于预构建的领域知识规则对文本样本进行匹配，并基于匹配结果确定第二损失函数值，包括：

获取多层深度学习网络中最后一层前任一层深度学习网络的输出向量，并将输出向量映射为一个传递数值；

基于自然语言理解技术提取文本样本的关键词，如果预构建的领域知识库包括关键词，则匹配成功；

基于预定的匹配成功的得分值与传递数值确定第二损失函数值。

可选地，该方法包括：

从训练文本样本集中获取文本样本；

基于预训练的词嵌入模型得到文本样本的文本样本序列，文本样本序列为向量表达。

可选地，基于第一损失函数值与第二损失函数值确定第三损失函数值，包括：

基于预定的第一损失函数值与第二损失函数的权重值，对第一损失函数值与第二损失函数值进行加权处理，得到第三损失函数值。

可选地，第一损失函数值与第二损失函数的权重值通过机器学习的方法学习得到。

可选地，文本样本对应的标注序列为人工标注的表示实体的序列和/或实体之间的关系的序列。

第二方面，提供了一种信息抽取方法，包括：

获取待抽取信息的文本的文本序列，文本序列为文本向量；

将待抽取信息的文本的文本序列输入权利要求1-5任一项的目标信息抽取模型得到抽取的目标信息。