[发明专利]一种基于预训练语言模型的中文文本关键信息抽取方法

权利要求书

1.一种基于预训练语言模型的中文文本关键信息抽取方法，其特征在于，包括如下步骤：

步骤(1)，对基于规则匹配方法进行识别的信息类别，编写相应的规则模板，并为每一个类别设置对应的标签名；

步骤(2)，基于任务文本环境，收集无标记的文本语料；

步骤(3)，对步骤(2)中收集的无标记的文本语料使用规则模板进行抽取，将数字串和字符串使用规则模板抽取出来，之后将文本语料中匹配的数字串、字符串在原文中的位置替换为其对应的类别标签；

步骤(4)，基于步骤(3)处理后的无标记文本语料，基于Transformer网络结构构建预训练语言模型，使用遮掩语言模型任务在收集到的文本语料上进行预训练；并在预训练语言模型网络的输入阶段，通过将文本分词的嵌入表示结合到输入中，在预训练语言模型中引入分词特征；

步骤(5)，基于任务文本环境收集文本语料数据集，构建命名实体识别数据集，采用BIO标注格式对该文本语料数据集中的命名实体类别进行标注，得到命名实体识别数据集；

步骤(6)，使用规则模板匹配，对步骤(5)中带标记的命名实体识别数据集使用规则模板匹配数字串、字符串，并将匹配的数字串在原文中的位置替换为其对应的类别标签；

步骤(7)，针对步骤(4)中得到的预训练语言模型，使用步骤(5)标注的命名实体识别数据集对其进行微调；

步骤(8)，使用微调后的预训练语言模型对待预测文本数据进行识别抽取；

将训练数据中的每条训练语句，通过字符表将语句转化为对应字符编号的序列，并使用随机初始化的字嵌入对语句中的每个字符进行表示，对每个字符使用嵌入向量进行表示；同时，还对训练数据中的每个语句添加位置嵌入，对语句中的每个字符计算位置嵌入；并且，针对训练数据中的每条中文语句进行分词，对文本中的每个字符构造分词嵌入；最终，将这三种嵌入相加，相加后作为预训练语言模型的输入；中文分词共有4种特征：BIES，分别表示词的起始字符B；词的中间字符I；词的结尾字符E；和独字词S；使用Transformer来训练得到输入语句的语义特征；

遮掩语言模型为：随机遮掩住句子中的一部分字，然后通过该部分字的上下文表征进行预测被遮掩位置上的字；预训练文本语料中的每条文本数据，会有15％的字会被随机选中；在被选中的字中，有80％会被遮掩，即将需遮掩字替换为一个特殊标记[MASK]；有10％会被随机替换为一个任意字符；剩余10％不进行任何操作；完成文本语料的遮掩之后，得到处理完成的预训练语言模型的训练数据；

对于处理好的预训练语言模型的训练数据，首先基于训练数据中的词频建立字符表，便于对训练数据进行处理，并按字符表的顺序对字符表里的字符编号；同时，字符表中也包含规则匹配类别的标签。

2.根据权利要求1所述的基于预训练语言模型的中文文本关键信息抽取方法，其特征在于，所述步骤(7)中的微调为：在已有的预训练语言模型参数上添加参数，然后基于命名实体识别数据集，使用小学习率对所有的参数进行训练，从而将预训练语言模型迁移到命名实体识别任务上去。

3.根据权利要求1所述的基于预训练语言模型的中文文本关键信息抽取方法，其特征在于，所述步骤(5)中收集的数据集，数据集规模为几千至几万条，并对其中的命名实体进行标注，该数据集是用作命名实体识别的训练数据。