[发明专利]一种基于SegaBert预训练模型的文本、简历和理财公告抽取方法

说明书

本发明公开了一种基于SegaBert预训练模型的文本、简历和理财公告抽取方法在预训练阶段，能利用更丰富的位置表征，对段落、句子、词语三者间的位置关系联合建模，对输入的文本能做到片段感知，提升了预训练语言模型的文本编码能力，使其在微调阶段得到更完善的句子和篇章表示，进而提升下游任务的预测效果。增加对标注和训练样本预处理，能够筛选出更合理的数据；提取简历文本信息，对各个简历文本信息进行中文分词，实现所需简历信息的准确提取，可以提高简历信息的抽取效率；通过对理财公告的文本进行标注，通过对预训练模型进行预训练，从而通过训练后的预训练模型实现理财公告信息的获取。

技术领域

本发明涉及自然语言处理技术领域，特别涉及文本数据处理技术领域，尤其涉及一种基于SegaBert预训练模型的文本、简历和理财公告抽取方法。

背景技术

文本作为分布最广、传播最方便的信息载体，如何对文本进行正确的处理和筛选成为重要的问题。在海量数据的选择当中，文本的分类、检索、过滤都需要根据用户需求来处理。文本抽取作为自然语言处理领域中一个核心的任务，对自然语言处理领域中的其他任务甚至其他领域的问题都起到非常重要的作用。信息抽取是指从一段文本中抽取实体、事件、关系等类型的信息，形成结构化数据存入数据库中以供用户查询和使用的过程。关系抽取是信息抽取的关键内容，旨在发现现实世界实体间的语义关系。

目前，针对简历和理财公告这种半结构化文本的研究中，主要利用基于深度学习的方式处理简历数据。传统的方法往往是将简历和理财公告的数据通过人工录入或者是简单的字符串匹配算法进行少量的信息提取，信息提取的速度较慢，效率不高，导致信息抽取效果低下。

现有技术中，文本抽取主要采用“预训练+微调”模式。其中，预训练是指采用大规模、与特定NLP任务无关的文本语料进行训练，其目标是学习语言本身应该是什么样的，使得模型输出的文本语义表示能够刻画语言的本质。微调是针对具体NLP任务而言，在预训练模型的基础上进行网络结构和参数的调整。但是，现有多数模型主要针对句子级别或者段落级别的NLP任务。对于文档级别输入较长的文本抽取任务，急需要一种适合长文本的抽取方法。

发明内容

本发明的目的在于提供一种基于SegaBert预训练模型的文本、简历和理财公告抽取方法用于提升了预训练语言模型的文本编码能力，使其在微调阶段得到更完善的表示，进而提升下游任务的预测效果。

一种基于SegaBert预训练模型的文本抽取方法，包括以下步骤：

对中文长文本进行预处理；

利用SegaBert预训练模型对所述中文长文本进行预训练；

利用神经网络对产生的所述SegaBert预训练模型进行微调过程，在所述微调过程中，训练出能够进行特定信息抽取的深度神经网络模型；

对所述中文长文本抽取结果进行后处理。

在其中一个实施例中，所述预处理包括：

获取待抽取的长文本为数据集，并按条数以6:2:2的比例划分为训练集、验证集和测试集；

设置字符[CLS]和[SEP]，所述[CLS]插入到所述长文本的开头，并将所述[CLS]对应的输出向量作为所述长文本的语义表示，用于所述长文本分类，所述[SEP]插入到所述长文本的句子句尾，用于分割句子。

在其中一个实施例中，所述预训练包括：

通过所述SegaBert预训练模型构建文本的位置索引和位置向量；

采用段落位置索引、句子位置索引和字位置索引，为输入序列中的每个字标示其三重位置信息。