[发明专利]一种微博语义信息扩充和特征选取方法

摘要

本发明提出了一种微博语义信息扩充和特征选取方法，属于文本信息处理领域，具体是涉及微博语义信息扩充和特征选取方法及系统。本发明是基于改进卡方统计的微博特征提取方法。首先扩充微博信息分类特征，在传统的卡方统计量的基础上，引入了频度因素，改进特征选择方法。然后在传统的特征项权值计算的基础上，提出了新的改进卡方统计量的方法，改进权重计算效果，该方法提高了微博信息分类的准确率。

主权项

一种微博语义特征扩充和特征选取方法，按以下步骤实现：步骤（1）分析微博信息，定义语义特征引入与微博分类相关度较高的信息弥补语义稀疏，包括发布者的个人信息，微博内容中链接信息，微博评论内容，这些特征与微博的正文一起被称为微博的混合特征，分析这些微博混合特征对微博分类的影响程度，定义微博混合特征为四元组T=(T1,T2,T3,T4)：T1：作者个人信息：个人介绍，认证情况，标签内容；T2：正文部分；T3：链接中的内容：正文中出现的超链接所指向的网页内容，正文中@到的人的个人信息；T4：评论的内容；步骤（2）根据步骤（1）中微博语义特征定义，扩充微博语义信息对每条微博信息进行如下步骤：步骤（2.1）根据网页HTML标记，获取微博发布人的个人信息，包括个人介绍，认证情况；步骤（2.2）提取微博正文部分,去除符号标记，保留文本内容；步骤（2.3）提取微博正文中出现的超链所指向的网页文本，正文中@到的人的个人信息文本；步骤（2.4）提取微博的所有评论内容，以去除停用词后的评论长度大于4个汉字、评论人为认证用户为条件进行过滤，选取有效评论作为评论特征；步骤（2.5）对以上所有文本内容进行分词处理，得到文本词串，将文本串中的名词、动词、形容词作为语义特征词；步骤（2.6）将以上微博相关语义特征信息合并作为微博语义信息；步骤（3）根据改进特征选取方法，进行微博的特征选取对每条微博的语义信息按照如下步骤进行语义特征选取步骤（3.1）引入频度改进卡方统计量引入参数α（频度）来进行调节，频度计算公式如下式：步骤（3.2）去除微博特征项中出现与类别负相关的情况在卡方统计量公式里删除特征出现与所属类别负相关的情况，可表示成下式：${\mathrm{\χ}}^2(\mathrm{\ω},c)=\left\{\begin{array}{c}\frac{N\×{(\mathrm{AD}-\mathrm{CB})}^2}{(A+C)(B+D)(A+B)(C+D)}\\ 0,\mathrm{AD}-\mathrm{BC}\≤0\end{array}\right.$结合以上公式得改进后的卡方统计量公式如下：步骤（3.3）对微博特征项的权重计算部分进行修改引入改进后的卡方统计量的值x²，把这些在特征选择时计算值也引入后得到如下归一化后的公式：$W(t,d)=\frac{\mathrm{tf}(t,d)\×\log (N/n_t+0.01)\×{{\mathrm{\χ}}^2}_t}{\sqrt{{\mathrm{\Σ}}_{t\∈d}{[\mathrm{tf}(t,d)\×\log (N/n_t+0.01)\×{{\mathrm{\χ}}^2}_t]}^2}}$步骤（4）输出微博的分类结果。