[发明专利]一种基于词典或/和阈值的微博分类方法

说明书

技术领域

本发明涉及一种数据分类方法，具体讲涉及一种基于词典或/和阈值的微博分类方法。

背景技术

微博是微型博客的简称。主要特点是博主可以及时发布信息和表达心情。每次发放的字符数限制在140个之内。内容可附带图片和视频。博主的粉丝可以及时看到博主的动态，且能对博主的发布内容及时分享、转发或评价等。由于操作简单，反应及时，固有大量的博主和博文。无序排列的海量博文，用户难以找到自己感兴趣的信息，故需要一种对博文分类的技术。微博是一类短文本数据，不同于大篇幅的资讯数据。一条博文的有效词数有限。目前各大网站采集用的方法有以下几种：给博主打标签法，模型训练法。

博主标签法，是指给博主打上分类标签。比如某一博主，经常发一些搞笑的或是有关动漫的信息，那么给该博主人工打上搞笑或动漫的标签。该方法主要是对博主分类，以对博文分类。

模型训练法，是指从大量标注分类的博文中提取词。然后对获得的词进行降维，获取特征词形成词典。根据词典对标注的分类博文进行分类向量映射。选定一个训练模型，把分类向量投入训练器，进行训练。最后得到一个决策函数。用该决策函数对后来的博文分类。

博主打标签方法，是在自动筛达标的前提下(例如：粉丝数要求、认证要求等)主要靠人力进行标注。该方法的弊端是，博文分类数据的质量完全依赖于博主发布数据的质量。例如博主会夹杂是发一些跟标签分类无关的数据，也会进入分类呈现给用户。

模型训练法，是基于大量的特征词，且需要人工标注大量的样本，模型训练流程复杂。博文篇幅较短，含词量少，信息变化快，且有大量的信息在图片、转发、评论里。故使用该方法效果微弱。因此需要提供一种克服现有技术不足的分类方法。

发明内容

针对现有技术的不足，本发明提出一种基于词典或/和阈值的微博分类方法，一种能根据模版和词典快速分类方法，且增加分类操作简单快速。本发明分为三个阶段。第一阶段，确定某分类的目标数据，根据目标数据整理统计该分类的词典和阈值文件以及黑名单或白名单或认证博主名单。词典文件由该分类的Key词及配置项组成。阈值文件用来存储分类阈值。第二阶段，根据需求设置配置文件，每个分类都有各自的配置项。第三阶段，根据配置文件对有效期的博文(配置文件可分为：原创、转发、原创和转发、原创或转发)、博主(配置文件可分为：白名单博主、黑名单博主、认证博主)、图片(配置文件可分为：有图片、无图片、都行)状况进行判断是否属于某一频道。对属于频道的数据聚堆，并对频道数据堆进行统计生成榜单。统计的方式可通过模版设置为时间排序、转发次数排序和先转发次数再时间的3种排序方式。转发次数的统计方式分为：有Key词统计和无Key词统计。

本发明的目的是采用下述技术方案实现的：

一种基于词典或/和阈值的微博分类方法，其改进之处在于，所述方法包括

(1)根据目标数据统计该分类的词典、阈值文件和博主名单；

(2)设置配置文件；

(3)判断有效期的博文、博主及图片状况是否属于某一频道；

(4)聚堆频道的数据，统计频道数据堆生成榜单。

优选的，所述步骤(1)中词典包括根据该分类的目标数据统计或整理的Key词。

3、如权利要求1所述的一种基于词典或/和阈值的微博分类方法，其特征在于，所述步骤(1)中阈值文件包括根据Key词的权值统计或计算分类阈值。

优选的，所述步骤(1)中博主名单包括

黑名单：过滤博主数据；

白名单：优先考虑博主数据；

认证博主名单：处理的博主名单。

优选的，所述步骤(2)包括根据不同的分类需求，做配置项设置；在分类初期，通过修改配置项测试数据质量。

优选的，所述步骤(3)根据配置文件计算博文权值，判断是否属于该分类，属于该分类则追加到分类堆里，周期性统计对堆里数据生成榜单。

进一步地，所述步骤(3)包括：

(3.1)判断该博文是否是有效时间内的数据；

(3.2)判断该分类是否对博主是否进行博主名字匹配；

(3.3)判断图片信息是否满足要求；

(3.4)去噪除去博文中的博主信息；

(3.5)根据配置项计算博文权值；

(3.6)判断博文是否属于该分类。

进一步地，所述步骤(3.5)包括计算博文的权值为在词头Hash中，用目标博文查找有效长度，按最大匹配法一次截取字符串，在KeyHash中查找Key，并将该Key的权值累加到博文权值，相同Key权重累加一次。