[发明专利]一种微博语义信息扩充和特征选取方法

说明书

技术领域

本发明属于文本信息处理领域，具体是涉及一种微博语义信息扩充和特征选取方法及系统。

背景技术

微博，即微博客的简称，是一个基于用户关系的信息分享、传播以及获取平台，用户可以通过WEB、WAP以及各种客户端组建个人社区，以140字左右的文字更新信息，并实现即时分享。其具有发布信息快速，传播速度快的特点。

微博技术的高速发展极大地促进了人们的沟通和交流，为人类的文明和发展做出了巨大的贡献。但信息爆炸式的增长带来的消极影响日益凸现。特别是随着各大微博网站的不断普及等因素，网上所能提供的信息也在急剧增多，信息产生的速度远远超过人们对信息的利用能力。如何从海量的信息中过滤掉用户不需要的，而快速定位用户感兴趣的信息，就成为了一个重要的问题。

随着微博等网络媒体的兴起，传统文本的分类已经不能满足人们对网络即时信息的分类要求。而以微博为代表的短文本分类成为了研究热点。微博信息自动分类技术可以帮助用户有效收集和选择其所感兴趣的微博信息，过滤微博垃圾信息，为微博信息检索提供更高效的搜索策略和更准确的查询结果。

文本分类中的一个基本问题就是文本的特征选取问题，这直接影响到分类的最终效果。而微博具有信息短小，不规则文本多，语义稀疏的特点，直接使用传统的特征选取和文本分类方法已经不适用。必须分析微博信息的自身特点，给出一些新的改进方法，以提高分类的准确率。

发明人通过综合考虑微博文本在语义信息补充方法和特征选取方法，克服了传统分类方法面对微博类短文本的语义稀疏问题的局限性。

发明内容

本发明的目的在于针对微博的分类问题，提出一种微博语义特征扩充和特征选取方法与系统。本发明综合考虑了微博与传统文本的区别，根据微博自身特点，给出了微博语义信息补充方法和特征选取方法，克服了传统分类方法面对微博类短文本的语义稀疏问题的局限性。

本发明提出的方法依次按以下步骤实现的：

步骤（1）分析微博相关信息，定义语义特征

引入与微博分类相关度较高的信息弥补语义稀疏，包括发布者的个人信息，微博内容中相关链接信息，微博评论内容。这些特征与微博的正文一起被称为微博的混合特征。分析这些微博混合特征对微博分类的影响程度，定义微博混合特征为四元组T=(T1,T2,T3,T4)：

T1：作者个人信息：个人介绍，认证情况，标签内容。

T2：正文部分。

T3：链接中的内容：正文中出现的超链接所指向的网页内容，正文中@到的人的个人信息。

T4：评论的内容。

步骤（2）根据步骤（1）中微博语义特征定义，扩充微博语义信息

对每条微博信息进行如下处理

步骤（2.1）根据网页HTML标记，获取微博发布人的个人信息，包括个人介绍，认证情况；

步骤（2.2）提取微博正文部分,去除符号标记，保留文本内容；

步骤（2.3）提取微博正文中出现的超链所指向的网页文本，正文中@到的人的个人信息文本；

步骤（2.4）提取微博的所有评论内容，以去除停用词后的评论长度大于4个汉字、评论人为认证用户为条件进行过滤，选取有效评论作为评论特征；

步骤（2.5）对以上所有文本内容进行分词处理，得到文本词串，将文本串中的名词、动词、形容词作为语义特征词。

步骤（2.6）将以上微博相关语义特征信息合并作为微博语义信息。；

步骤（3）根据改进特征选取方法，进行微博的特征选取

对每条微博的语义信息按照如下步骤进行语义特征选取

步骤（3.1）引入频度改进卡方统计量

引入参数α（频度）来进行调节，其主要是为了解决卡方统计量方法对文档频率低的特征词不可靠的问题。频度计算公式如下式：

这里t表示特征项，c表示某一个微博类别，α(t,c)取值范围为[0,1]之间。

步骤（3.2）去除微博特征项中出现与类别负相关的情况

在卡方统计量公式里删除特征出现与所属类别负相关的情况，表示成下式：