[发明专利]基于深层主题模型的大规模文本分类方法

说明书

本发明公开了一种基于深层主题模型的文本分析方法，主要解决现有技术中梯度无法求解，各层梯度更新步长无法调整的问题。其主要步骤是：1.建立训练集和测试集；2.设置泊松‑伽玛置信网络及其参数，并用步骤1的训练集对该网络进行梯度更新训练；3.保存训练后的网络全局参数；4.用步骤3保存下来的全局参数值，初始化测试网络的全局参数，并用步骤1的测试集训练测试网络；5.保存测试网络的网络参数；6.利用步骤5得到的测试网络参数对文本进行分类并输出预测文本类别和文本分类正确率。本发明能够提取文本信息的多层信息，解决了梯度难以求解和各层步长无法调整的问题，可以用于文本信息的提取和文本分类。

技术领域

本发明属于文本处理技术领域，特别涉及一种基于自适应步长随机梯度训练的深层主题模型大规模文本分类方法，可用于文本数据挖掘和分类。

背景技术

目前，自然语言处理领域使用的主题模型不仅越来越多，并且也越来越成熟，但是在训练方法上有所差异，实用性上也各有不同，一些浅层模型虽然实用性较好，但在性能上却不如深层模型，比如常用的LDA主题模型就是其中一种，而深层主题模型虽然比浅层主题模型在性能上有所提升，但因为其训练复杂，训练时间过长，特别是当数据集特别大的时候，在实用性上有所欠缺，比如泊松-伽马置信网络PGBN，有文章和专利早已证明PGBN在性能上优于LDA主题模型，但是该模型训练复杂度较高，因为其是一种贝叶斯模型，所以采用的推断和训练方法是上下采样的吉普斯方法，当数据集很大时，训练起来十分困难，并行实现可以说是很难实现，因而实用性受到了限制。

最近阶段，国外学者提出的随机梯度训练方法给出了一种大数据集训练的方法，相较于此前的训练方法，随机梯度方法使用迷你块数据集代替完整数据集的方式进行训练。所谓迷你块数据集指的是整体训练集中的一个很小的训练集，传统方法在训练模型时要求将所有数据一次性输入作为训练样本进行训练，如果模型本身就比较复杂，在数据集很大的时候训练起来尤为复杂，实用性很差，并行实现也会因为模型本身的复杂度而受到限制。

随机梯度训练方法，选择数据集的一部分，比如一次性选取200个样本作为一次输入进行训练，大大减少了一次性训练所用的样本的个数，加快了模型的训练速度，增强模型实用性。目前随机梯度方法的较多的是应用于浅层模型，对于深层模型，随机梯度方法应用的极少，不仅因为深层模型各层之间的存在很大的相关性，梯度计算十分复杂；而且在使用了随机梯度方法训练的深层主题模型训练过程中，各层之间的梯度更新步长无法调整。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于深层主题模型的大规模文本分类方法，以减低泊松-伽马置信网络的训练复杂度，简化各层全局参数更新时的梯度计算，方便调整各层之间的梯度更新步长。

为实现上述目的，本发明的技术方案包括如下：

1.基于深层主题模型的大规模文本分类方法，包括：

(1)构建数字信息的训练集和测试集：

从文本语料库中随机选取训练文本集和测试文本集；采用词袋方法将训练文本集和测试文本集的格式由文本信息转化为数字信息的训练集和测试集；