[发明专利]一种基于词典或/和阈值的微博分类方法

权利要求书

1.一种基于词典或/和阈值的微博分类方法，其特征在于，所述方法包括

(1)根据目标数据统计该分类的词典、阈值文件和博主名单；

(2)设置配置文件；

(3)判断有效期的博文、博主及图片状况是否属于某一频道；

(4)聚堆频道的数据，统计频道数据堆生成榜单。

2.如权利要求1所述的一种基于词典或/和阈值的微博分类方法，其特征在于，所述步骤(1)中词典包括根据该分类的目标数据统计或整理的Key词。

3.如权利要求1所述的一种基于词典或/和阈值的微博分类方法，其特征在于，所述步骤(1)中阈值文件包括根据Key词的权值统计或计算分类阈值。

4.如权利要求1所述的一种基于词典或/和阈值的微博分类方法，其特征在于，所述步骤(1)中博主名单包括

黑名单：过滤博主数据；

白名单：优先考虑博主数据；

认证博主名单：处理的博主名单。

5.如权利要求1所述的一种基于词典或/和阈值的微博分类方法，其特征在于，所述步骤(2)包括根据不同的分类需求，做配置项设置；在分类初期，通过修改配置项测试数据质量。

6.如权利要求1所述的一种基于词典或/和阈值的微博分类方法，其特征在于，所述步骤(3)根据配置文件计算博文权值，判断是否属于该分类，属于该分类则追加到分类堆里，周期性统计对堆里数据生成榜单。

7.如权利要求6所述的一种基于词典或/和阈值的微博分类方法，其特征在于，所述步骤(3)包括：

(3.1)判断该博文是否是有效时间内的数据；

(3.2)判断该分类是否对博主是否进行博主名字匹配；

(3.3)判断图片信息是否满足要求；

(3.4)去噪除去博文中的博主信息；

(3.5)根据配置项计算博文权值；

(3.6)判断博文是否属于该分类。

8.如权利要求7所述的一种基于词典或/和阈值的微博分类方法，其特征在于，所述步骤(3.5)包括计算博文的权值为在词头Hash中，用目标博文查找有效长度，按最大匹配法一次截取字符串，在KeyHash中查找Key，并将该Key的权值累加到博文权值，相同Key权重累加一次。

9.如权利要求1所述的一种基于词典或/和阈值的微博分类方法，其特征在于，所述步骤(4)包括

(4.1)统计排序该分类的聚堆数据，统计每个目标博文的转发次数；

(4.2)对排序后的内容排重，滤掉噪后内容一致的；

(4.3)提取博文中的时间串，滤掉博文内容时间过期的；

(4.4)周期性检测Key值文件和阈值文件，确定是否更新重新加载；

(4.5)根据模板配置时间周期性的整理分类聚堆数据，清理时间不合格的数据并生成榜单。