[发明专利]一种基于规则的交互式中文垃圾邮件过滤方法

说明书

一种基于规则的交互式中文垃圾邮件过滤方法。包括步骤：(1)从中文垃圾邮件样本中提取中文垃圾邮件过滤规则；(2)用改进遗传算法训练得到规则的最佳权重分布；(3)加强用户和服务器之间的交互，收集并分析用户反馈的漏判和误判信息(4)用增量学习的方法及时调整敏感规则的权重。本发明提出的算法使用改进遗传算法训练规则权重分布，通过用户与服务器之间的交互收集误判和漏判信息，依分析结果用增量学习的方法修正规则权重，从而降低误判率和漏判率，提高过滤的自适应性。这种交互式的过滤方法在保证垃圾邮件识别率不受影响的前提下，减少了错判的发生，过滤效果更好；增量学习方法降低了重新训练的频度，提高了权重更新的速度，使过滤系统的整体性能得到提高。

技术领域

本发明涉及互联网技术领域，具体公开了一种基于规则的交互式中文垃圾邮件过滤方法。

背景技术

电子邮件一直是互联网最重要的应用之一，早期的电子邮件系统设计，基于一个基本的假设，即发信人是可信的，因而很少考虑邮件系统的安全性。随着互联网的迅速发展，电子邮件系统越来越普及，随之而来的就是越来越严重的安全性问题，其中最主要的就是垃圾邮件的泛滥，绝大多数邮箱每天都会收到大量的垃圾邮件，给社会、集体和个人带来巨大的损失和不便。如何有效防止垃圾邮件已经成了摆在当前邮件系统面前的最为严峻的问题。

人们想尽了一切办法与垃圾邮件进行斗争，如黑白名单技术、过滤技术、增强认证技术等。其中，过滤技术是目前最常用的反垃圾邮件手段。常见的垃圾邮件过滤方法主要有以下三种：

(1)利用邮件地址、IP或域名“黑白名单”进行的邮件限制或过滤，典型应用比如：结合DNS(Domain Name Server)的实时黑名单RBL(Real-time BlockList)过滤，用户自定义邮件白名单加验证的过滤方法等。

(2)基于数据挖掘技术进行的邮件过滤研究，利用文本分类与统计算法进行垃圾邮件过滤，比较有代表性的是贝叶斯过滤器[3]。

(3)基于垃圾邮件的特征分析、规则提取的规则匹配过滤方法。对这种技术的应用，SpamAssassin处在领先的地位。

SpamAssassin是基于规则的垃圾邮件过滤器，在基于规则的垃圾邮件过滤技术方面处于遥遥领先的地位。与传统的基于规则的垃圾邮件过滤器相比，SpamAssassin的实现方法比较独特，它采用了一种概率统计的、基于权重的方法来对邮件分类。标准SpamAssassin规则集中有几百条规则，包括对邮件头的处理、对邮件内容的处理及对邮件结构的处理等，每条规则对应一个权重。SpamAssassin对每封邮件应用所有规则，如果规则被触发，相应的权重就被加到邮件上，每封邮件所匹配规则的权重之和表示其为垃圾邮件的可能性。如果总权重没有超过预先设定的阈值，表示这封邮件是正常的；相反，如果总权重超过了预先设定的阈值，则表示邮件有问题，SpamAssassin就会将它判定为垃圾邮件。由于SpamAssassin采用这种概率统计的、基于权重的方法，即使有些规则不够完美，但是当与所有其它规则的判定结果结合使用时，就能够起到很有效的作用。实践证明，这种方法不仅灵活性好，而且适应性强，能够有效地降低正常邮件的丢失率，大大提高垃圾邮件的过滤准确率。除了自带的规则以外，SpamAssassin还允许用户定义自己的规则，具有很好的扩展性。

SpamAssassin对英文垃圾邮件的过滤准确度很高，在国外已经得到了广泛的应用，目前国内也已有不少用户在使用SpamAssassin。虽然SpamAssassin在设计的时候考虑了多语言的兼容，但是由于中英文语种之间巨大的差异，它过滤中文垃圾邮件的实际效果并不能令人满意。同时，它没有用户与服务器之间对判别正确性的交互，缺少及时处理错判的机制。

基于此，本发明实现了一种基于规则的交互式中文垃圾邮件过滤方法。该方法与目前存在的众多垃圾邮件过滤方法的不同点在于，除了利用概率统计、基于权重的邮件分类思想之外，更加强了用户与服务器之间的交互性，通过交互减少误判和漏判情况的出现，以达到更好的过滤效果。该方法广泛应用于网络管理、安全监控、网络行为分析等领域。