[发明专利]一种基于混合多项分布的文本分类算法

权利要求书

1.一种基于混合多项分布的文本分类方法，其特征在于，包括以下步骤：

S1：输入训练集，其文本的类别集合为C＝{C₁,C₂,...,C_S}，所述文本的属性特征集合为x＝{x₁,x₂,...,x_d}；

S2：计算并保存所有文本类别为C_j的概率分布，j＝1,2……S；

S3：初始化混合多项分布的概率参数θ、权重π_k以及分量个数K；

S4：使用当前参数值θ、π_k,计算完整数据的对数似然函数关于隐藏变量后验概率分布的期望；

S5：用EM算法训练所述混合多项分布的参数值θ、π_k；

S6：对不同的所述分量个数K，分别画出模型对测试集和所述训练集的预测误差图线，选择预测误差最小的K值；

S7：输出文本类别C_j的概率分布p(C_j)，混合多项分布的分量个数K和参数值θ、π_k；

所述步骤S3中，假定p(x|C_j)服从混合多项分布，其形式为：

式中，D表示每篇文本中特征词的总个数；d表示训练集文本中特征词的个数；θ表示混合多项分布的概率参数；π_k表示多项分布混合的权重，且k表示分布p(x|C_j)其某个分量分布的序号；K表示分布p(x|C_j)的混合分量的个数且分布p(x|C_j)的每个分量中的θ_ki都需满足

2.根据权利要求1所述的基于混合多项分布的文本分类方法，其特征在于，所述步骤S2中，根据朴素贝叶斯的规则，计算具有特征x文本的所属类别C_j的概率分布为：

式中：j＝1,2,3……S，p(C_j)表示训练集中文本类别为C_j的概率分布，p(x)表示训练集中具有特征x的文本的概率分布，p(x|C_j)表示某篇文本在属于类别C_j的条件下，其具有特征x的概率分布；

当具有特征x的文本属于所述类别C_j时，p(y＝C_j|x)＝1，否则p(y＝C_j|x)＝0，因此，所述类别C_j的概率分布为：

式中，|C|为文本中特征词的总个数，y是具有特征x的文本其所属的类别，N是训练集中文本的个数。

3.根据权利要求2所述的基于混合多项分布的文本分类方法，其特征在于，所述步骤S3中：

对于单个多项分布其期望值E[x]和方差cov[x]为：

μ＝E[x]＝Dθ,θ＝(θ₁,θ₂,...,θ_d)^T (5)

∑＝cov[x]＝DP (6)

式中，P是d×d的方阵，对角线上的元素为θ_i(1-θ_i),i＝1,2,...,d，非对角线第i行第j列的元素为-θ_iθ_j，E[x]表示在x满足条件概率分布p(x|θ,C_j)的情况下的期望值，cov[x]表示在x满足条件概率分布p(x|θ,C_j)的情况下的方差；

根据(5)(6)式，得到混合模型(3)式的期望值E[x]和方差cov[x]：

式中，∑_k＝DP_k，P_k是d×d的方阵，对角线上的元素为θ_ki(1-θ_ki),i＝1,2,...,d，非对角线第i行第j列的元素为-θ_kiθ_kj。