[发明专利]一种基于小样本的特定领域多标签文本分类方法

说明书

本发明公开了一种基于小样本的特定领域多标签文本分类方法，通过对原始语料中带有原始标签的语料进行标签进行分类，然后改变原始标签进行语料扩充，并基于扩充后的语料，通过mask language model对预训练语言模型进行了多任务的训练来更新模型参数，使模型充分学习到领域的语义知识，在预测的阶段则使用知识库检索的方式，使用knn减少随机性，提升分类结果的准确性。在得到预测的结果后，继续将预测的结果当作人工标签重复上述步骤，使模型能够继续学习本领域的知识，并且检索知识库也越来越大，分类的结果也得到相应的提升。

技术领域

本发明涉及一种基于小样本的特定领域多标签文本分类方法。

背景技术

在需要进行文本分类任务的系统上线初期，数据积累很少，只有少量的数据进行标注，本发明提出一种小样本的分类方法，使得在系统上线初期数据积累少的情况下，提升文本分类的准确率，并在系统运营的过程中持续使用新分类的数据自适应地提升分类模型准确率。

当前有论文提出了基于模版的小样本学习方法，但是它的效果好的前提是一开始就有大量的特定领域的数据集，仅仅只是标注的数据少。本方案则在该方法的基础上，解决标签数量和特定领域文本数量均很少的问题。

发明内容

为了实现上述技术目的，本发明的技术方案是，

一种基于小样本的特定领域多标签文本分类方法，包括以下步骤：

步骤一，获取特定领域的原始语料，并提取其中小部分语料，为语料中每个句子都标注上标签，并以相同的标签为一类，记录下标签的总类数；

步骤二，将标注的标签加入到句子之前并对标签进行掩码，同时在标签的首尾分别增加固定词语以标识出标签并构成新的句子，再在新的句子头尾加上特定符号；然后加入用于标识当前标签是否正确的标识标签，再复制句子并将原标签内容依次更换为其他句子所标注且与原标签不同的标签，同时将标识标签从正确改为错误，从而扩充步骤一中提取的小部分语料；

步骤三，向预训练语言模型中输入扩充后的语料，然后执行掩码语言模型任务，从而对预训练模型的参数进行更新；

步骤四，将更新后的模型作为语义特征提取器，从而将所有扩充后的语料转为语义向量并作为查询检索库；

步骤五，再从原始语料从提取部分语料，并为语料中的每个句子前都加入掩码且在掩码前后加入步骤二中的固定词语，同时按步骤一中记录的标签种类数来复制以得到同样数量的句子，然后输入到模型中，从而得到每个句子的语义向量；

步骤六，将得到的语义向量结果来与查询检索库进行相似度计算，并取相似度最高的前N条标签中出现次数最高的标签作为没有原始标签的语料的标签；

步骤七，返回步骤三，并以步骤六中得到的标签的语料作为模型的输入，继续更新模型的参数，直到损失函数达到收敛即完成模型训练；

步骤八，采用步骤七中训练完成的模型，对与步骤一中领域相同的语料进行标签标注，从而实现分类。

所述的一种基于小样本的特定领域多标签文本分类方法，所述的步骤一中，所述的小部分语料为数量少于200条的文本语句。

所述的一种基于小样本的特定领域多标签文本分类方法，所述的步骤三中，执行掩码语言模型任务包括：

将每个句子输入到预训练语言模型后，得到映射的低维向量表示，对掩码位置计算低维向量与掩码位置标签mlm_label的损失函数，对于句首位置[cls]位置计算低维向量与标识标签eq_label的损失函数，两个损失函数相加作为为整个预训练语言模型的损失函数；对应的损失函数L公式如下：

L＝mlm_loss+eq_loss