[发明专利]一种基于混合多项分布的文本分类算法

说明书

本发明提供一种基于混合多项分布的文本分类算法，包括以下步骤：S1：输入训练集文本；S2：计算并保存所有文本类别C的概率分布；S3：初始化混合多项分布的参数值θ、π_k以及分量个数K；S4：使用当前参数值θ、π_k,计算完整数据的对数似然函数关于隐藏变量后验概率分布的期望；S5：用EM算法训练混合多项分布的参数值θ、π_k；S6：对不同的所述分量个数K，分别画出模型对测试集和所述训练集的预测误差图线，选择预测误差最小的K值；S7：输出结果。本发明的有益效果在于，本发明将朴素贝叶斯算法结合混合多项分布，用EM算法对混合模型的参数进行估计，以提高模型的分类精度。

技术领域

本发明涉及一种文本分类算法，尤其涉及一种基于混合多项分布的文本分类算法。

背景技术

随着网上在线文本的大量涌现和机器学习的兴起，大规模的文本分类和检索引起研究者的兴趣。大量的结果表明，基于统计学习的方法，文本分类精度高，能适用于任何领域的学习，使得它成为目前文本分类的主流方法。

传统的基于朴素贝叶斯的文本分类算法假定在给定的文本类别下，各个文本特征向量属性是独立同分布，由于假设简单，基于朴素贝叶斯的文本分类算法计算复杂度小，在某些情况下也能取得较好的分类效果，然而在实际任务中，这种条件独立性假设很难成立，局限性很大，需要考虑对属性条件独立性假设进行一定程度的放松。

鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。

发明内容

为解决上述问题，本发明采用的技术方案在于，提供一种基于混合多项分布的文本分类算法，包括以下步骤：

S1：输入训练集，其文本的类别集合为C＝{C₁,C₂,...,C_S}，所述文本的属性特征集合为x＝{x₁,x₂,...,x_d}；

S2：计算并保存所有文本类别为C_j的概率分布，j＝1,2……S；

S3：初始化混合多项分布的概率参数θ、权重π_k以及分量个数K；

S4：使用当前参数值θ、π_k,计算完整数据的对数似然函数关于隐藏变量后验概率分布的期望；

S5：用EM算法训练所述混合多项分布的参数值θ、π_k；

S6：对不同的所述分量个数K，分别画出模型对测试集和所述训练集的预测误差图线，选择预测误差最小的K值；

S7：输出文本类别C_j的概率分布p(C_j)，混合多项分布的分量个数K和参数值θ、π_k。

进一步，所述步骤S2中，根据朴素贝叶斯的规则，计算具有特征x文本的所属类别C_j的概率分布为：

式中：j＝1,2,3……S，p(C_j)表示训练集中文本类别为C_j的概率分布，p(x)表示训练集中具有特征x的文本的概率分布，p(x|C_j)表示某篇文本在属于类别C_j的条件下，其具有特征x的概率分布；

当具有特征x的文本属于所述类别C_j时，p(y＝C_j|x)＝1，否则p(y＝C_j|x)＝0，因此，所述类别C_j的概率分布为：