[发明专利]利用共现信息的多任务辅助极限多标签短文本分类方法

说明书

本发明涉及一种利用共现信息的多任务辅助极限多标签短文本分类方法，其主要技术特点是：构建账号‑特征文件；利用账号‑特征文件为每条微博短文本提供额外的特征信息，并将该特征信息建模为显式的模型输入共现信息；构建与微博短文本相关的多标签文本分类任务和极限多标签文本分类任务；构建多任务学习任务模型；使用大规模微博短文本数据对多任务学习任务模型进行预训练；对多任务学习任务模型进行微调；对神经网络输出进行量化并最终输出多任务预测结果。本发明利用共现信息设计多任务学习架构，实现对大规模短文本的多标签分类,方法可在较低的工业部署成本情况下，对大规模短文本数据集实现稳定精确实时的多标签预测。

技术领域

本发明属于信息技术领域，涉及自然语言处理、文本分类方法，尤其是一种利用共现信息的多任务辅助极限多标签短文本分类方法。

背景技术

随着文本数据生产速度日益增长、数据多样性、语义复杂性愈发显现，传统的多标签文本分类方法在准确率和实时性上已难以满足日常工业需求，对大规模标签集场景下的极限多标签文本分类任务需求越来越强烈。

为了解决上述问题，现有技术大多通过嵌入、多分类器、树、深度学习等方法进行解决。其中，嵌入方法时间复杂度高，效果极其依赖预处理过程中的聚类效果；多分类器方法忽略了标签间信息，将标签与标签间视为独立的个体，且由于每一个标签均需要训练一个分类器，部署成本巨大，难以有效应用于现实业务场景；树方法无法解决数据集中的长尾问题，并且规模大、成本高、精度差，难以在工业场景下稳定使用。现有深度学习方法未优化长尾问题，只是简单的增加输出层神经元个数，导致其效果通常并不如其余三种方法。

鉴于此，本发明规避现有方法弊端，利用共现信息设计多任务学习架构，实现对大规模短文本的多标签分类,方法可在较低的工业部署成本情况下，对大规模短文本数据集实现稳定精确实时的多标签预测。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理、预测准确、成本低且易于实现的利用共现信息的多任务辅助极限多标签短文本分类方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种利用共现信息的多任务辅助极限多标签短文本分类方法，包括以下步骤：

步骤1、利用微博发文账号的相关特征信息构建账号-特征文件；

步骤2、利用账号-特征文件为每条微博短文本提供额外的特征信息F，并将该特征信息F建模为显式的模型输入共现信息C；

步骤3、构建与微博短文本相关的多标签文本分类任务t₁；

步骤4、构建大规模微博短文本极限多标签文本分类任务t₂；

步骤5、将多标签文本分类任务t₁与极限多标签文本分类任务t₂联合建模，得到多任务学习任务模型T；

步骤6、使用大规模微博短文本数据对多任务学习任务模型T中的预训练模型M进行预训练；

步骤7、使用小规模精准的已标注的微博短文本数据对多任务学习任务模型T进行微调；

步骤8、对标签文本分类任务t₁与极限多标签文本分类任务t₂最后一层神经网络输出进行量化，并利用各自任务量化后的概率值结果按联合规则构建，最终输出多任务预测结果。

所述步骤1中微博发文账号为发布微博文本的作者账号；所述微博发文账号包括的特征信息为：发文常用标签、发文常在地和发文账号名。在构建账号-特征文件时，考虑到微博发文账号的相关特征信息存在误差，对账号-特征文件进行清洗与更新。

所述步骤2得到的特征信息F为：