[发明专利]一种微博语义信息扩充和特征选取方法

权利要求书

1.一种微博语义特征扩充和特征选取方法，按以下步骤实现：

步骤（1）分析微博信息，定义语义特征

引入与微博分类相关度较高的信息弥补语义稀疏，包括发布者的个人信息，微博内容中链接信息，微博评论内容，这些特征与微博的正文一起被称为微博的混合特征，分析这些微博混合特征对微博分类的影响程度，定义微博混合特征为四元组T=(T1,T2,T3,T4)：

T1：作者个人信息：个人介绍，认证情况，标签内容；

T2：正文部分；

T3：链接中的内容：正文中出现的超链接所指向的网页内容，正文中@到的人的个人信息；

T4：评论的内容；

步骤（2）根据步骤（1）中微博语义特征定义，扩充微博语义信息

对每条微博信息进行如下步骤：

步骤（2.1）根据网页HTML标记，获取微博发布人的个人信息，包括个人介绍，认证情况；

步骤（2.2）提取微博正文部分,去除符号标记，保留文本内容；

步骤（2.3）提取微博正文中出现的超链所指向的网页文本，正文中@到的人的个人信息文本；

步骤（2.4）提取微博的所有评论内容，以去除停用词后的评论长度大于4个汉字、评论人为认证用户为条件进行过滤，选取有效评论作为评论特征；

步骤（2.5）对以上所有文本内容进行分词处理，得到文本词串，将文本串中的名词、动词、形容词作为语义特征词；

步骤（2.6）将以上微博相关语义特征信息合并作为微博语义信息；

步骤（3）根据改进特征选取方法，进行微博的特征选取

对每条微博的语义信息按照如下步骤进行语义特征选取

步骤（3.1）引入频度改进卡方统计量

引入参数α（频度）来进行调节，频度计算公式如下式：

步骤（3.2）去除微博特征项中出现与类别负相关的情况

在卡方统计量公式里删除特征出现与所属类别负相关的情况，可表示成下式：

χ2(ω,c)=N×(AD-CB)2(A+C)(B+D)(A+B)(C+D)0,AD-BC≤0]]>

结合以上公式得改进后的卡方统计量公式如下：

步骤（3.3）对微博特征项的权重计算部分进行修改

引入改进后的卡方统计量的值x²，把这些在特征选择时计算值也引入后得到如下归一化后的公式：

W(t,d)=tf(t,d)×log(N/nt+0.01)×χ2tΣt∈d[tf(t,d)×log(N/nt+0.01)×χ2t]2]]>

步骤（4）输出微博的分类结果。