[发明专利]一种基于网络的垃圾信息过滤方法和装置

权利要求书

1.一种基于网络的垃圾信息过滤方法，其特征在于，包括以下步骤：

对目标信息进行分词取得该信息中的特征元素；

根据预置的关键字库取得与所述目标信息特征元素相应的概率值，所述关键字库定期更新；

对所述目标信息特征元素的概率值进行累加，将累加的结果与预定的阀值进行比较，若大于所述预定阀值，则认为该目标信息为垃圾信息。

2.根据权利要求1所述的方法，其特征在于，所述关键字库定期更新是根据收集的垃圾样本信息和非垃圾样本信息，同时根据预先设定的特征词组和/或特征短语分别建立垃圾信息散列表和非垃圾信息散列表，所述散列表中存储有根据所述样本信息分词取得的特征元素，以及该样本信息特征元素在所述样本信息中出现的频率；

根据所述垃圾信息散列表和非垃圾信息散列表建立关键字库，所述关键字库中存储所述样本信息特征元素，以及该特征元素为垃圾信息的概率值。

3.根据权利要求2所述的方法，其特征在于，所述关键字库中的特征元素包括但不限于特征单词或特征词组或特征短语。

4.根据权利要求3所述的方法，其特征在于，还包括：

将所述关键字库解析为关键字散列表，根据所述关键字散列表取得与所述目标信息特征元素相应的概率值。

5.根据权利要求4所述的方法，其特征在于，还包括：

根据所述关键字散列表，将所述目标信息的特征元素及其概率值分别存储在相应的特征单词散列表或特征词组散列表或特征短语散列表；

将特征单词散列表和特征短语散列表以及特征词组散列表中各特征元素的概率值进行累加，用计算的结果与预定的阀值进行比较，若大于该阀值，则认为所述目标信息为垃圾信息。

6.根据权利要求5所述的方法，其特征在于，还包括：

若同一特征元素或其组成同时存在于特征单词散列表、特征词组散列表和特征短语散列表中，则只计算特征短语散列表中该特征元素的概率值；

若同一特征元素或其组成同时存在于特征单词散列表和特征词组散列表中，则只计算特征词组散列表中该特征元素的概率分值。

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述阀值是根据所述关键字库取得所述垃圾样本信息和非垃圾样本信息特征元素的概率值，比较该样本信息的概率值与所述阀值，若该样本信息为垃圾样本信息且特征元素的概率值大于所述阀值，则判断正确，否则判断错误；若该样本信息为非垃圾样本信息且特征元素的概率值小于所述阀值，则判断正确，否则判断错误；

根据所述垃圾样本信息和非垃圾样本信息的判断结果统计判断的正确率，若所述正确率小于预定值，则重新设置该阀值；

循环执行该步骤，直到所述正确率大于预定值。

8.一种基于网络的垃圾信息过滤装置，其特征在于，包括：

分词单元，用于对目标信息进行分词并取得该信息的特征元素；

关键字库，用于存储特征元素以及该元素为垃圾信息的概率值；

收集单元，用于收集垃圾样本信息和非垃圾样本信息；

存储单元，用于存储收集单元收集的垃圾样本信息和非垃圾样本信息，所述存储单元还用于存储预置的阀值；

关键字库生成单元，用于生成关键字库并按设定的时间间隔更新关键字库；

计算单元，用于根据分词单元取得的目标信息特征元素从关键字库中取得与该特征元素相应的概率值，并对所述概率值进行累加；

比对单元，用于比对计算单元得出的目标信息特征元素概率值和预置阀值。

9.根据权利要求8所述的方法，其特征在于，所述存储单元还用于存储特征词组和特征短语。

10.根据权利要求9所述的方法，其特征在于，所述关键字库生成单元根据存储单元的垃圾样本信息和非垃圾样本信息并根据特征词组和特征短语生成关键字库。

11.根据权利要求8所述的方法，其特征在于，还包括：

散列表生成单元，用于将关键字库生成关键字散列表以及生成特征单词散列表、特征词组散列表和特征短语散列表。

12.根据权利要求8所述的方法，其特征在于，还包括：阀值设置单元，用于根据关键字库和存储单元的垃圾样本信息和非垃圾样本信息设置阀值。