[发明专利]一种多层级多类别的中文文本分类的实现方法及装置

说明书

本发明公开了一种多层级多类别的中文文本分类的实现方法及装置，该方法包括如下步骤：步骤S1，结合训练数据集合中的实际分类体系的树形结构，构建与该树形结构对应的N层文本分类多叉树，根据所述N层文本分类多叉树的结构，将所述训练数据集合中的训练数据分别写入到各层级对应的分类文件中；步骤S2，对各分类文件的中文文本进行分词，并进行特征选择保存到对应的特征文件中；步骤S3，选择分类算法，并设定、调整算法参数集，将步骤S2保存的特征文件数据导入所述分类算法中，迭代生成训练数据的每个分类与子分类模型并保存。

技术领域

本发明涉及自然语言处理和机器学习技术领域，特别是涉及一种多层级多类别的中文文本分类的实现方法及装置。

背景技术

文本分类是计算机对自然语言按照一定的类目体系进行自动化归类的过程，在很多领域有重大应用，例如以电信10000号客服中心平台为例，希望能够通过自动文本分类的手段，实现客户来访工单的准确分类及快速记录，从而达到加快现场话务员服务响应能效，提升整体服务质量，提高热线整体运营数据分析的智能化程度，优化管理的效果。

目前随着机器学习的研究逐渐深入，文本分类方法不断改进，目前在文本分类领域的研究取得较大进展，很多研究提出了多层级多类别的分类体系。

这种多层级多类别的分类体系是指，多个类别的层级之间是递进关系，一般是首先分为几大类，每一大类中包含若干中类，每个中类中又包含若干小类，每一小类下再分小小类，如此顺延，最后，每一个文本都可以分到某一个类目下，而其中的大类、中类、小类、小小类等之间存在着自上而下的逻辑关系。多层级多类别的文本分类不仅费时费力，覆盖的范围和准确率也非常有限，如何快速精确地对多层级多类别的中文文本分类是一个重要的研究范畴。

然而，现有技术中，在多层级多类别的中文文本方向，由于多层级多类别和大规模文本数据及不均衡性的限制，多层级多类别的文本分类不仅费时费力，覆盖的范围和准确率也非常有限，在分类准确率和分类效率上仍没有较好的分类方法。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种多层级多类别的中文文本分类的实现方法及装置，以实现一种快捷高效、高准确率的文本分类技术。

为达上述目的，本发明提出一种多层级多类别的中文文本分类的实现方法，包括如下步骤：

步骤S1，结合训练数据集合中的实际分类体系的树形结构，构建与该树形结构对应的N层文本分类多叉树，根据所述N层文本分类多叉树的结构，将所述训练数据集合中的训练数据分别写入到各层级对应的分类文件中；

步骤S2，对各分类文件的中文文本进行分词，并进行特征选择保存到对应的特征文件中；

步骤S3，选择分类算法，并设定、调整算法参数集，将步骤S2保存的特征文件数据导入所述分类算法中，迭代生成训练数据的每个分类与子分类模型并保存。

优选地，于步骤S1之前，还包括如下步骤：

步骤S0，获取文本的训练数据集合、验证数据集合及待分类的测试数据集合。

优选地，于步骤S1中，以文件命名规则R对分类文件进行文件命名，将类别号的命名规则与其对应的中文类别名称保存为分类文件。

优选地，步骤S2进一步包括：

步骤S200，利用中文分词工具依次对分类文件的中文文本进行分词；

步骤S201，构建停用词库，将利用构建的停用词库对步骤S200的分词结果进行筛除；

步骤S302，利用特征选择工具选择前m维特征作为特征库。

优选地，于步骤S201中，所述停用词库包括但不限于数字、英文字符、副词、语气词以及与业务无关词汇，可根据实际工单文本数据内容的需要，增添、删改停用词库。