[发明专利]基于主题共识覆盖率的网络社区垃圾信息检测与过滤方法

权利要求书

1.一种基于主题共识覆盖率的网络社区垃圾信息检测与过滤方法，其特征在于，包括以下步骤：

步骤1，数据准备：采集两组以上的围绕不同主题进行交流的主贴及相应的回复的文本内容，抽样其中部分组的主贴与回复作为训练集，其余作为待检测集，对训练集中的文本内容进行人工分类，判断回复的文本内容是否与各自的主贴内容相关，不相关的视为无效的垃圾内容，分类的结果作为训练数据集；

步骤2，计算词频向量：运用词袋算法，将之前采集到的训练集和待检测集中的各个主贴和全部的回复内容全部以词频向量的形式表示；

步骤3，聚合得到主题共识的词频向量：对训练集和待检测集中的各组主贴与回复，聚合各组中所有文本内容对应的词频向量，得到围绕各组内容主题的主题共识的词频向量；

步骤4，计算特征值，组合特征向量：计算训练数据集和待检测集中各文本内容的文本特征值，将文本特征值组合起来形成与文本内容相对应的特征向量，文本特征值包括主题共识覆盖率和其他文本特征值，具体包括以下步骤，

步骤4.1，计算主题共识覆盖率：以步骤3中聚合得到的主题共识的词频向量为基础，计算各文本内容的主题共识覆盖率；

步骤4.2，计算其他文本特征值：其他文本特征值包括文本长度、文本信息熵、文本作者可信度、敏感词汇数量、包含链接数量中的一种或其组合；

步骤4.3，组合主题共识覆盖率和各文本内容的其他文本特征值，形成特征向量；

步骤5，训练文本分类器：采用以支持向量机模型为基础的文本内容分类器，用训练集中的各文本内容的特征向量作为样本输入，以步骤1中对这些文本内容的分类结果作为标准输出，对支持向量机分类器进行反复训练，直到分类器对训练样本的分类准确率达到95%以上；

步骤6，文本分类，检测垃圾内容：对待检测集中的各文本内容进行分类，以待检测文本内容的特征向量作为输入，用步骤5中已调好参数的支持向量机分类器进行分类，判断该段待检测文本内容是否为垃圾信息。

2.根据权利要求1所述的一种基于主题共识覆盖率的网络社区垃圾信息检测与过滤方法，其特征在于：所述步骤3中，聚合操作通过平均值聚合方法实现，即先对所有词频向量中各个对应位置上的元素求平均值，然后将不同位置上的元素的平均值组合成为一个新的向量：

设词表空间用集合{w₁，w₂，...，w_j，...，w_N}表示，其中N为词表空间大小，即预先设定的词表中的词汇数量，将第i个文本内容记为D_i，文本中词汇w_j出现的次数即词频用‖w_j‖_i表示，各文本内容的词频向量依次表示为：

D→1=(||w1||1,||w2||1,...,||wN||1)]]>

D→2=(||w1||2,||w2||2,...,||wN||2)]]>

.

.

.

D→K=(||w1||K,||w2||K,...,||wN||K)]]>

其中，K为围绕同一个主题进行讨论的全部帖子数量；

词汇w_j在所有文本中的词频的平均值为：

M(wj)=Σi=1K||wj||i/K]]>

将通过平均值聚合法得到的主题共识表示为G_m，所对应的主题共识词频向量用表示，则：

G→m=(M(w1),M(w2),...,M(wN))]]>

G→m=(Σi=1K||w1||i/K,Σi=1K||w2||i/K,...,Σi=1K||wN||i/K).]]>