[发明专利]基于Logistic回归的中文垃圾邮件过滤方法

说明书

技术领域

本发明涉及垃圾邮件过滤方法，尤其涉及一种基于Logistic回归的中文垃圾邮件过滤方法。

背景技术

随着垃圾邮件的泛滥，各种垃圾邮件过滤技术应运而生。当前，基于内容的智能邮件过滤方法已成为主流技术，其中，支持向量机(SVM)、动态马尔可夫建模(DMM)、Winnow等机器学习方法都已成功应用于邮件分类领域。这些方法的基本思路是，将垃圾邮件过滤看成一个两类问题，研究从样本邮件出发寻找分类器，利用分类器对未知邮件进行预测。

通常，可将机器学习技术划分为区分模型(Discriminative Model，如Logistic回归、SVM)和生成模型(Generative Model，如Bayes)两类。实践证明，在PU-1垃圾邮件语料库上，区分模型的邮件分类效果要好于生成模型。然而，对于不同的区分模型，其性能也有差异。例如，国际上有人(Hsu、Chang和Lin)将Logistic回归应用于文本分类，在大数据集上取得了较线性C-SVM更优的精确率；国外学者(Lynam和Cormack、Goodman和Yih)将Logistic回归应用于英文垃圾邮件分类，在TREC(Text Retrieval Conference)垃圾邮件语料库上进行了验证，效果较好。

经专利查新统计，国内外有不少与中文垃圾邮件过滤相关的专利，例如，基于贝叶斯分类的中文垃圾邮件内容分类鉴别算法(200510135603.3)、用于阻止垃圾邮件的源/目的地的特征和列表(200410063953.9)、社会网络电子邮件过滤(200510070053.1)、垃圾电子邮件过滤方法和系统(200510087762.0)、增量反垃圾邮件查找与更新服务(200510082282.5)、外发垃圾邮件的阻止(200410063149.0)、在系统中为紧急或重要情况使用成批电子邮件过滤器用于分类消息(200410063950.5)，等等。以上专利中所采用的垃圾邮件过滤技术，均未涉及基于Logistic回归的中文垃圾邮件过滤方法。

发明内容

本发明的目的是提供一种基于Logistic回归的中文垃圾邮件过滤方法。

基于Logistic回归的中文垃圾邮件过滤方法包括如下步骤：

1)利用JavaMail和HTMLParser的应用程序接口对邮件进行解析，提取邮件标题、邮件文本、邮件字符集、邮件附件标题的文本信息；

2)对提取的文本信息进行分词；

3)统计文本信息中的词条的词频，利用TF-IDF公式计算词的权重，将邮件文本信息表示成加权特征向量，重复步骤1)～步骤3)得到加权特征向量集；

4)利用LIBLINEAR工具包对邮件样本的加权特征向量集进行训练得到Logistic回归模型；

5)利用得到的Logistic回归模型对邮件进行分类，得到邮件是否为垃圾邮件的概率值。

所述的对邮件进行解析，提取邮件标题、邮件文本、邮件附件标题的文本信息：利用RFC2822，RFC2045，RFC2046邮件标准和MIME格式标准，对邮件进行解码、解析，提取邮件标题、邮件文本、邮件附件标题的文本信息，若提取的文本信息已通过Base64和Quoted Printable编码方式进行过编码，则采用与其对应的解码方式进行解码，对html格式的邮件主体进行解析。

所述的对提取的文本信息进行分词：对解码后的邮件文本信息进行分词，以得到经过分词后的文本信息。

所述的统计文本信息中的词条的词频，利用TF-IDF公式计算词的权重，将邮件文本信息表示成加权特征向量，重复步骤1)～步骤3)得到加权特征向量集：对于经过分词后的文本信息，首先统计其中每个词的词频和邮件样本集中该词出现的词频，使用TF-IDF公式计算词的权重，将邮件样本集中所有的词组成一个特征空间，每封邮件可以映射成该特征空间的一个加权特征向量，重复步骤1)～步骤3)，得到加权特征向量集。

本发明与现有技术相比具有的有益效果：

1)Logistic回归模型具有较少的调节参数，能够在中文垃圾邮件过滤应用中取得很好的分类效果。与SVM方法相比，无论是在ROC(Receiver OperatingCharacteristics)分类指标上，还是在运行效率上，Logistic回归模型都要优于后者。

2)提出一种中文、非中文混合文本的分词方法，避免了直接采用第三方分词系统引起的效率低下问题。