[发明专利]基于转发关系的微博聚类方法

说明书

技术领域

本发明涉及微博文本聚类的技术领域，特别涉及一种基于微博转发关系的微博聚类方法。

背景技术

文本聚类(Textclustering)就是将相似度大的文档归类到一个类(即：聚类)，不同类之间的文档相似度小。在给定的聚类规则和算法体系下，根据文档的内容进行归类，使其最终结果符合聚类结果要求的过程。

微博文本和其他文本存在着很多不同，第一，微博文本限制在140字符之内，每个人发表的文本长短不一，很多时候只是一个句子甚至是一个短语；第二，微博文本的语法存在着非正式性，常常带有一些口语，并且，在这些句子中通常会存在拼写错误、网络语言和一些表情符号和缩略语；第三，微博文本带有一些其他文本所没有的一些元素，比如说是作者、发布时间、评论数量、转发数量、赞数等；第四，微博文本与微博文本之间存在转发与被转发的关系；第五，这些文本带有着内容带有着比其他文本更加突出的主观性。

微博中含有着大量的隐藏信息，从大量的微博文本中提取出有效有用的信息是微博研究的重点，例如事件监测，话题跟踪，提取摘要等，而微博文本的聚类则是微博文本挖掘的一个重要的方法。

由于微博文本所具有的这些特征，传统的文本处理方式不适用于该类变异短文本的处理。在现有的微博文本聚类研究中，提高聚类效果的方法大概的有两种，一个是通过文本特征扩展的方式来扩充特征空间，对拓展的特征集进行特征选择，最后建立学习模型；另一种是考虑微博的数据的特征来对学习模型进行优化，进而提高微博聚类的效果。这些方法大多是考虑微博文本本身的特征，而未能考虑微博文本与微博文本之间的关系。而本发明能够较好地解决上面的问题。

发明内容

本发明目的在于提供一种基于转发关系的微博聚类方法，该方法解决了微博文本特征稀疏造成的聚类效果不佳的问题。该方法根据微博文本间的转发关系以及转发文本之间的主题相似性，构建了微博转发关系有向图，将转发关系作为单向边，使用微博作为节点构成图，将相互连通的部分视作一个小簇，本发明称之为转发关系簇。在这个小簇中所有微博有同一个最初的转发源，本发明认为它们之间互相具有转发关系，将转发关系簇作为聚类的初始对象，进行文本聚类。

方法流程：

步骤1：提取微博文本中的hashtag信息；

步骤2：使用ICTCLAS分词系统对微博文本和标签进行分词，并去除非实词和停用词；

步骤3：基于本文的特征权重的计算方法，计算词项的权重；

步骤4：基于微博的转发关系，构造转发关系矩阵；

步骤5：基于转发关系构造聚类的初始簇；

步骤6：基于初始簇，使用基于最大最小距离和SSE的自适应聚类算法，并使用余弦距离度量文本间的相似度，进行聚类；

步骤7：输出聚类的结果。

本发明上述步骤3中是特征权重的计算方法是根据公式ht_weigh_ij×w_ij计算得到的，其中的常量λ是在大量的实验后根据经验的到的。

本发明上述步骤4中构造转发关系矩阵，是基于每个转发关系生成一个转发关系邻接矩阵。

本发明上述步骤5中构造聚类初始簇，是基于图的广度优先遍历，将同一转发链中的微博放入转发簇中。

本发明上述步骤6中的基于最大最小距离和SSE的自适应聚类算法的初始点是基于每个初始簇的中心，计算出它们的最大最小距离得到的。

有益效果：

本发明基于转发关系构造聚类的初始簇，以转发关系簇为基本单位进行聚类，采用基于最大最小距离和SSE的自适应聚类算法中的方法计算得到初始中心，改善了在多主题多类别下，微博文本特征稀疏造成的聚类效果不佳的问题，提高了文本特征稀疏的微博文本的聚类准确率。

附图说明

图1为本发明的方法流程图。

图2为本发明实施例中的实验微博数据示意图。

具体实施方式

下面结合说明书附图对本发明作进一步的详细说明。

如图1所示，本发明提出一种基于转发关系的微博聚类方法。其包括如下步骤

1、微博文本预处理

对于已有的微博文本，本发明使用分词软件NLPIR2015来进行分词预处理操作，具体的步骤如下所示：

步骤1：通过调用NLPIR2015中提供的新词发现功能，以微博数据中每5000条微博为一组作为输入文本找出新词，并存入新词词典文件中。

步骤2：对于每条微博用正则表达式提取出hashtag