[发明专利]一种基于短文本的垃圾邮件过滤方法及装置

权利要求书

1.一种基于短文本的垃圾邮件过滤方法，其特征在于，所述基于短文本的垃圾邮件过滤方法包括：

a、对电子邮件中的文本进行分词处理并获得分词结果；

b、使用TF-IDF技术对所述分词结果进行排序处理获得分词列表；

c、根据所述分词结果计算电子邮件的邮件指纹；

d、根据所述邮件指纹对电子邮件进行聚类处理并获得聚类结果；

e、根据所述聚类结果过滤垃圾电子邮件。

2.如权利要求1所述的基于短文本的垃圾邮件过滤方法，其特征在于，步骤a包括：

a1、对文本进行预处理并抽取出中文文本和/或英文文本；

a2、分别对所述中文文本和英文文本进行分词处理，并获得分词结果。

3.如权利要求1所述的基于短文本的垃圾邮件过滤方法，其特征在于，步骤c包括：

c1、构建特征数组；

c2、提取任一预设参数；

c3、根据当前提取的预设参数，使用BKDR哈希函数计算所述分词列表中各分词结果的哈希值；

c4、分别对所述哈希值进行取模处理获得模值；

c5、根据所述模值更新所述特征数组；

c6、判断当前已经处理的哈希值个数是否少于预设值，

判断为是时，提取一个与已使用的预设参数相异的其它预设参数，并返回执行步骤c3，

判断为否时，根据哈希值个数及特征数组长度计算阀值，并根据阀值对所述特征数组进行归一化处理获得电子邮件的邮件指纹。

4.如权利要求1所述的基于短文本的垃圾邮件过滤方法，其特征在于，步骤d包括：

d1、根据邮件指纹与垃圾邮件的特征指纹进行比对处理并获得邮件指纹与特征指纹之间的相似度；

d 2、根据所述相似度对电子邮件进行聚类处理并获得聚类结果。

5.一种基于短文本的垃圾邮件过滤装置，其特征在于，所述基于短文本的垃圾邮件过滤装置包括：

分词模块，用于对电子邮件中的文本进行分词处理并获得分词结果；

排序模块，用于使用TF-IDF技术对所述分词结果进行排序处理获得分词列表；

邮件指纹模块，用于根据所述分词结果计算电子邮件的邮件指纹；

类聚模块，用于根据所述邮件指纹对电子邮件进行聚类处理并获得聚类结果；

过滤模块，用于根据所述聚类结果过滤垃圾电子邮件。

6.如权利要求5所述的基于短文本的垃圾邮件过滤装置，其特征在于，所述分词模块包括：

预处理单元，用于对文本进行预处理并抽取出中文文本和/或英文文本；

分词单元，用于分别对所述中文文本和英文文本进行分词处理，并获得分词结果。

7.如权利要求5所述的基于短文本的垃圾邮件过滤装置，其特征在于，所述邮件指纹模块包括：

特征数组单元，用于构建特征数组；

参数单元，用于提取任一预设参数；

哈希函数单元，用于根据当前提取的预设参数，使用BKDR哈希函数计算所述分词列表中各分词结果的哈希值；

取模单元，用于分别对所述哈希值进行取模处理获得模值；

更新单元，用于根据所述模值更新所述特征数组；

判断处理单元，用于判断当前已经处理的哈希值个数是否少于预设值，判断为是时，提取一个与已使用的预设参数相异的其它预设参数，判断为否时，根据哈希值个数及特征数组长度计算阀值，并根据阀值对所述特征数组进行归一化处理获得电子邮件的邮件指纹。

8.如权利要求5所述的基于短文本的垃圾邮件过滤装置，其特征在于，所述类聚模块包括：

相似度单元，用于根据邮件指纹与垃圾邮件的特征指纹进行比对处理并获得邮件指纹与特征指纹之间的相似度；

类聚单元，用于根据所述相似度对电子邮件进行聚类处理并获得聚类结果。