[发明专利]基于字节级n元文法的特征提取方法及垃圾邮件过滤器

说明书

技术领域

本发明涉及到包括垃圾邮件过滤技术在内的信息处理领域，具体涉及到信 息过滤、信息推送、模式识别领域。

背景技术

在处理对象为包含多种信息类型的信息单元(如网页、电子邮件)时，用 户的特定信息需求有两种表现形式：信息过滤和信息推送。它们具有相同的本 质：用户的信息需求不变，需要从不断到来的信息中甄别出信息的属性，即用 户是否需求该信息。由于处理对象为包含多种信息类型的信息单元，语言是信 息的重要载体，信息过滤和信息推送时主要依靠文本信息。但仅依靠文本信息 丢失了大量有价值的信息，不能仅使用文本信息。例如对于垃圾邮件过滤，图 像特征被使用[ImprovingImageSpamFilteringUsingImageTextFeatures GiorgioFumera，FabioRoli，BattistaBiggioandIgnazioPillai.FourthConference onEmailandAnti-Spam(CEAS2007)](使用图象文本信息特征提升图象垃 圾邮件过滤性能)。但单独处理各种信息形式的复杂度极高，同时还面临多信 息融合的困难。

随着电子邮件的广泛应用，伴随而来的垃圾邮件问题日益严重。它不仅消 耗网络资源、占用网络带宽、浪费用户的宝贵时间和上网费用，而且严重威胁 网络安全，已成为网络公害，带来了严重的经济损失。中国互联网协会反垃圾 邮件中心发布的2007年第四季度反垃圾邮件调查报告显示，垃圾邮件在规模 上不断增长，2007年第四季度中国网民平均每周收到的垃圾邮件比例为 55.65％。迫切需要有效的技术解决垃圾邮件泛滥的问题。

近几年，基于机器学习的文本分类法在垃圾邮件过滤中发挥了巨大的作 用，邮件过滤本质上是一个在线二值分类问题，过滤器将邮件区分为Spam(垃 圾邮件)或Ham(正常邮件)。典型的方法包括贝叶斯方法、支持向量机(SVM， SupportVectorMachine)方法、最大熵方法、PPM(PredictionbyPartialMatch) 压缩算法等。机器学习方法过滤正确率高、成本低，是当前的主流方法，具有 广泛的应用前景。应用机器学习方法对垃圾邮件进行过滤时涉及到3个问题： 模型选择、特征抽取(邮件表示)以及训练方法。

从模型上看，机器学习技术可以分为生成模型(如贝叶斯模型)和判别模 型(如SVM、最大熵模型)。在相关领域——文本分类中，判别模型的分类 效果比生成模型的分类效果要好，特别在没有足够多的训练数据的时候，这种 现象更明显。在生成模型方面，著名的Bogo系统就是基于贝叶斯模型的，在 TREC评测中作为基准(Baseline)系统。用于数据压缩的CTW(contexttree weight)和PPM(PredictionbyPartialMatch)等压缩算法被引入到了垃圾邮件过 滤。CTW和PPM是数据压缩中使用的动态压缩算法，其原理是根据已经出现 的数据流预测后面要出现的数据流，预测的越准，所需的编码也就越少，并据 此进行分类。2004年，Hulten和Goodman在PU-1垃圾邮件过滤测试集上做 实验，证明了在邮件过滤上，判别模型的分类效果比生成模型的分类效果要好。 不严格的在线支持向量机(RelaxedOnlineSVM)克服了支持向量机计算量大 的问题被用于解决垃圾邮件过滤的问题，并在TREC2007评测中取得了很好 效果。Goodman和Yih提出使用在线逻辑回归模型，避免了SVM、最大熵模 型的大量计算，并取了与上一年度(2005年)最好结果可比的结果。