[发明专利]一种基于多重弱监督集成的短文本分类方法

说明书

本发明公开了一种基于多重弱监督集成的短文本分类方法，包括：获取原始数据集和知识库，并进行数据预处理；对预处理后的数据进行知识抽取；将抽取的知识表示为标注函数，并用于数据标注；通过条件独立模型，进行标签集成；基于全连接神经网络，训练分类模型；对所述分类模型进行评估及优化，获得最优模型；利用最优模型进行短文本分类。本发明基于多重弱监督集成的短文本分类方法：利用关键词匹配、正则表达式和远监督聚类相结合的方式，完整表达了显性知识和隐性知识；借助标签集成机制产生的概率标签，不仅实现了无标签数据的自动化标注，缓解了短文本的数据稀疏问题，而且有效解决了短文本的不平衡分类问题。

技术领域

本发明属于自然语言处理领域，具体涉及一种基于多重弱监督集成的短文本分类方法。

背景技术

移动互联背景下，即时通讯的发展在促进短文本激增的同时，也使短文本分类的研究与应用愈发重要。

有监督的机器学习，主要依赖手工标记的数据和良好的特征表达。良好的特征表达，借助深度学习可以自动学得。但由于需要学习的参数数以千计，有监督的深度学习，仍离不开大量的有标签数据。事实上，有监督学习的训练数据仍然以手动标注为主。而手动标注是非常昂贵和耗时的。此外，随着现实应用的不断变化，数据标签的需求通常变化很快。例如，标记规则(指导方针)、标注粒度及下游应用的变化，都会导致重新标记。而这种标签瓶颈，随着移动互联下即时通讯的蓬勃发展，在短文本分类中尤为突出。数据稀疏性，作为短文本分类的另一挑战，也大大限制了分类模型的性能。加之无标签数据缺乏类别标签，其类别分布难以精确测量，很可能为不平衡分类问题。由此可见，短文本分类，几乎同时面临标签不足、数据稀疏和不平衡分类三大挑战。

现有技术中关于数据标注、数据稀疏和不平衡分类的整体研究较少，研究者通常侧重其中一个方面：使用单一的弱监督来源自动标注数据；基于手动标注的数据进行短文本分类；单独研究不平衡分类。以下将逐一介绍弱监督学习、短文本分类、不平衡分类的技术背景。

针对标签不足的问题，诸多研究提出以编程方式标注训练数据。通常，这些标注方式被称为弱监督学习：基于领域知识产生噪声标签。其中，最常用的是远监督学习，通过将数据点与外部知识库“对齐”实现自动标注。此外，众包、启发式规则等模式也是弱监督学习的常用来源。即弱监督来源主要包括：远监督学习、众包和启发式规则等。然而，单独使用这三种弱监督学习来源的任何一个，其表达能力和标签质量都是十分有限的。可以说，单一的弱监督来源，已难以满足机器学习领域对大规模高质量数据标签的迫切现实需求。

在移动互联背景下，即时通讯使得短文本不断增加的同时，也带来了数据稀疏和拼写错误(不规范写作)的挑战。这严重限制了机器学习在短文本分类中的应用。为解决此问题，现有研究提出了两种视角的解决思路：特征角度和算法角度。以特征选择为例，现有研究通常采用基于过滤器的卡方度量(chi-squared，CHI2)、信息增益(Information Gain，IG)、相关系数(Correlation Coefficient，CC)、平衡精度(Accuracy Balanced，Acc2)、逐点的互信息(Pointwise Mutual Information，PMI)、优势比(Odds Ratio，OR)和多分类优势比(Multi-Class Odds Ratio,MOR)等指标。

不平衡分类主要有两大解决思路：数据策略和算法策略。总体来看，数据策略很容易破坏数据的原始分布，需要适当的采样方法。但算法策略往往需要针对某一特定问题专门设计，推广应用成本很高。

针对短文本分类中的标签不足、数据稀疏和不平衡分类三大问题。现有研究通常聚焦于标签瓶颈、数据稀疏、不平衡分类中的某一个方面，而缺少整体性的解决方案。因此，现有方法难以直接应用于无标签短文本的不平衡分类问题；在弱监督学习子领域，自动标注的弱监督来源十分单一，且在知识表达上，通常只涵盖显性知识或隐性知识，导致标签的质量偏低，限制了工业应用及推广；针对不平衡分类问题，现有研究没有立足“不平衡源自离散标签”这一基本点，往往达不到理想效果，不利于解决问题和学术研究。

发明内容