[发明专利]利用共现信息的多任务辅助极限多标签短文本分类方法

权利要求书

1.一种利用共现信息的多任务辅助极限多标签短文本分类方法，其特征在于：包括以下步骤：

步骤1、利用微博发文账号的相关特征信息构建账号-特征文件；

步骤2、利用账号-特征文件为每条微博短文本提供额外的特征信息F，并将该特征信息F建模为显式的模型输入共现信息C；

步骤3、构建与微博短文本相关的多标签文本分类任务t₁；

步骤4、构建大规模微博短文本极限多标签文本分类任务t₂；

步骤5、将多标签文本分类任务t₁与极限多标签文本分类任务t₂联合建模，得到多任务学习任务模型T；

步骤6、使用大规模微博短文本数据对多任务学习任务模型T中的预训练模型M进行预训练；

步骤7、使用小规模精准的已标注的微博短文本数据对多任务学习任务模型T进行微调；

步骤8、对标签文本分类任务t₁与极限多标签文本分类任务t₂最后一层神经网络输出进行量化，并利用各自任务量化后的概率值结果按联合规则构建，最终输出多任务预测结果；

所述步骤2得到的特征信息F为：

其中，F_i为微博发文账号相关特征中的某一特征信息，n为微博发文账号的相关特征数；

所述显式的模型输入共现信息C为：

其中，[SEP]为模型输入文本中的特殊标记符。

2.根据权利要求1所述的利用共现信息的多任务辅助极限多标签短文本分类方法，其特征在于：在步骤6中，使用大规模无标注的微博短文本数据对多任务学习任务模型T中的预训练模型M进行预训练，或使用大规模存在误差的已标注的微博短文本数据对多任务学习任务模型T进行预训练。

3.根据权利要求1或2所述的利用共现信息的多任务辅助极限多标签短文本分类方法，其特征在于：所述微博发文账号为发布微博文本的作者账号；所述微博发文账号包括的特征信息为：发文常用标签、发文常在地和发文账号名。

4.根据权利要求1或2所述的利用共现信息的多任务辅助极限多标签短文本分类方法，其特征在于：所述步骤1在构建账号-特征文件时，考虑到微博发文账号的相关特征信息存在误差，对账号-特征文件进行清洗与更新。

5.根据权利要求1或2所述的利用共现信息的多任务辅助极限多标签短文本分类方法，其特征在于：所述预训练模型M为共享层，其上层分别实施各自任务。

6.根据权利要求1或2所述的利用共现信息的多任务辅助极限多标签短文本分类方法，其特征在于：所述步骤8中对最后一层神经网络输出进行量化是通过SoftMax与归一化操作来实现的。

7.根据权利要求6所述的利用共现信息的多任务辅助极限多标签短文本分类方法，其特征在于：所述联合规则为：假设多标签文本分类任务t₁与极限多标签文本分类任务t₂存在一定程度的关联性，当多标签文本分类任务t₁最大概率值神经元的概率值大于极限多标签文本分类任务t₂最大概率值的神经元时，认为多标签文本分类任务t₁可靠性更佳，从而以多标签文本分类任务t₁为基准，对极限多标签文本分类任务t₂决策进行调整；否则，认为极限多标签文本分类任务t₂可靠性更佳，从而以极限多标签文本分类任务t₂为基准，对多标签文本分类任务t₁决策进行调整。