[发明专利]一种基于多答案损失函数的片段信息抽取模型训练方法

说明书

本发明提供了一种基于多答案损失函数的片段信息抽取模型训练方法。包括：标注片段式信息，对文本中的作案手段和事发原因等片段式信息采取多准则标注，得到多个答案；对案由文本、标注答案进行预处理，并随机切分训练集、验证集和测试集；将训练集中预处理后的样本数据输入本文提出的模型中，得到所述输出的训练集中各文本对应的答案，其中，包括答案的开始和结束位置、以及位于所述开始和结束位置的概率。本发明能有效的避免标注者标注原则不统一的问题。

技术领域

本发明涉及信息抽取技术领域，尤其涉及一种基于多答案损失函数的片段信息抽取模型训练方法。

背景技术

公安领域存在大量的非结构化文本数据，这些非结构化数据的囤积使得人工查询和整理十分困难，导致二次复用数据受阻。随着信息抽取在自然语言处理领域的飞速发展，在医疗、金融等领域取得丰硕成果，能够有效的对公安警情数据进行结构化。利用海量历史数据构建信息抽取模型不仅能实现结构化存储、而且能从源头处理接警信息，直接将结构化信息存入数据库，以便后续的查询与使用。

信息抽取任务中，实体识别、关系抽取等子任务都是在实体存在清晰边界的前提条件下实施。在公安警情文本中，抽取案件相关的任务、地址、作案手段、事发原因等信息尤为重要。其中，作案手段以及事发原因的信息描述为短语或短句的形式呈现，这种片段式信息的边界往往是模糊的。直接采用实体识别模型来抽取会出现大量边界错误的情况。其原因在于，在标注片段式信息时存在多种标注的准则：1)最大语义单元，最短片段标注准则；2)最大语义单元，较长片段标注准则。不同标注者在标注数据时，很难统一标注准则。即使是同一标注者，标注全程遵循的准则也不全然一致。

目前，信息抽取模型的训练方法通常是监督学习任务，其基本思想是使得根据训练数据的输入得到的输出与标答尽可能一致。以往在训练监督模型时，只提供一个标答片段，那么训练样本中存在的不同标注准则会使得模型寻找最优点带来干扰。其次，在后续模型评价阶段，针对不同的标注准则得到的标答片段中，模型只需要预测出一个，即判定该样本预测正确。这样，会存在训练阶段与测试阶段所使用评价指标不一致的问题。

本发明提出的基于多答案损失函数的片段信息抽取模型不仅在评价指标的计算中考虑多个候选片段，在训练时也将多个标注准则得到的多个片段作为标答。其基本实现是在loss中引入多个片段作为标答，针对每个标答，分别与模型输出概率求loss，将最小的loss值作为当前样本的loss进一步梯度下降求解。

发明内容

本发明提供了一种基于多答案损失函数的片段信息抽取模型，解决现有模型仅考虑单一标答、以及模型训练与模型评价阶段评价指标不一致的问题。本发明以公安领域中警情文本片段信息抽取为例，亦可用于其他领域的片段抽取问题。技术方案如下：

标注片段式信息，对文本中的片段式信息采取多准则标注，得到多个标注答案，所述片段式信息是指标注边界模糊的短语或短句；

对文本、标注答案进行预处理，并随机切分训练集、验证集和测试集；

将训练集中预处理后的样本数据输入到基于多答案损失函数的片段信息抽取模型中训练，得到训练集中多个文本对应的答案，其中，所述文本对应的答案包括答案的开始位置、结束位置以及位于开始位置和结束位置的概率。

其中步骤一，片段式信息标注包括：

首先对文本中的作案手段和事发原因等片段式信息采取多准则标注，具体而言，对一个片段式信息分别从“最大语义最短片段”和“最大语义较长片段”的角度标注多个边界，得到多个标答片段。其中，所述最大语义最短片段为能够表达出所需抽取信息的完整语义的最短跨度文本，最大语义最短片段为句子中的一个短语片段；所述最大语义较长片段是以最大语义最短片段为基础增加了相关的补充信息，标注边界由标点符号决定，可以是短语片段也可以是一个完整的句子。将文本中的所有可能的片段均标注出来，能有效的避免标注者标注原则不统一的问题。