[发明专利]一种特征词驱动的文本多标签层次分类方法和系统

说明书

本发明公开了一种特征词驱动的文本多标签层次分类方法和系统，能够在不提供标注数据，仅需要提供标签相关的特征词的情况下，依靠特征词驱动解决文本多标签层次分类问题。其技术方案为：本发明利用异构信息网络学习词向量，充分利用了文本以外的信息，有助于提升最终的技术效果。本发明的方法中提出了多标签伪文档的生成技术，这是本发明方法可以工作的重要前提。如果没有多标签伪文档的生成技术，则需要提供标签数据，会带来昂贵的标注成本。本发明的方法在自训练过程中引入了置信度过滤的机制，设计了一种新颖的置信度计算方法，并且利用标签归一化进一步提升了实验效果。如果没有置信度过滤机制，自学习部分就无法迭代进行。

技术领域

本发明涉及文本标注方面的文本层次多标签分类方法，具体涉及基于一种特征词驱动的文本多标签层次分类方法。

背景技术

随着海量信息数据的爆发，人们迫切需要自动化的主题标签标注方法对海量文本进行标注。尤其是，现实生活中的文本内容较为复杂，通常会从多个角度多个层次描述事物，这时每一个文本不仅对应一个标签，而是对应多个标签，并且标签是层次化的。因此，我们需要解决的是一个文本多标签层次分类问题。

一般来说，要解决这个问题，需要借助机器学习或深度学习等人工智能算法，则必须提供大量的标注数据用于学习。这类方法的缺点是标注数据昂贵且匮乏，并且延长了产品开发周期。

文本层次多标签分类问题是文本层次分类问题和多标签分类问题的组合问题。文本层次分类问题是从是否可以从多个层次为文本分配标签这一角度定义的，即文本标签是层级化的，多级标签像一棵树一样展开；文本多标签分类问题是从文本是否具有唯一标签这一角度定义的，即可以为文本分配一个以上的标签。

目前，市场上没有一款产品可以在不提供标签数据的前提下同时解决文本层次分类问题和多标签分类问题。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种特征词驱动的文本多标签层次分类方法和系统，能够在不提供标注数据，仅需要提供标签相关的特征词的情况下，依靠特征词驱动解决文本多标签层次分类问题。

本发明的技术方案为：本发明揭示了一种特征词驱动的文本多标签层次分类方法，方法包括：

步骤1：针对目标语料集构建出异构信息网络，其中构建网络的数据来源包括无标签数据集、带特征词的标签层级结构；

步骤2：学习所构建的异构信息网络中的节点表示，将其中的部分节点表示指定为词向量并进行归一化处理；

步骤3：基于归一化后的词向量进行主题建模；

步骤4：基于主题建模生成多标签伪文档；

步骤5：基于多标签伪文档进行分类器的预训练；

步骤6：利用无标签语料实现对全局分类器进行包括文本标签置信度过滤以及标签归一化的自训练过程，得到可以解决文本多标签层次分类问题的分类模型的最终输出结果。

根据本发明的特征词驱动的文本多标签层次分类方法的一实施例，步骤1中在构建异构信息网络的过程中，还包括定义包括节点、模式、边的异构信息网络的属性。

根据本发明的特征词驱动的文本多标签层次分类方法的一实施例，步骤2中进一步包括：

采用包括ESim算法在内的网络学习算法学习异构信息网络中的全部类型的节点表示，将其中一种类型的节点表示指定为词向量；

将词向量进行归一化处理。