[发明专利]一种短文本数据的事件演化分析方法

说明书

技术领域

本发明涉及数据挖掘领域，尤其涉及一种短文本数据的事件演化分析方法。

背景技术

随着web2.0技术的出现，用户越来越多地参与到现有的网络应用中。其中，微博是目前非常热门的一类网络应用，是基于用户关系的信息分享、传播以及获取平台。用户可以在微博上通过短文本数据进行信息传送、评论等，如何处理这些短文本数据，已经引起人们越来越多的重视。在短文本数据的数据挖掘过程中，通常会产生三个需求：第一，及时的从短文本数据中发现新生成的主题（或者称事件、话题）；第二，对已发现的主题进行实时跟踪；第三，创造的系统模型可以承受住大规模网络数据。

然而，针对微博这样的短文本数据进行数据挖掘，有相当大的难度，原因在于：首先，短文本数据的随意性比较大，没有一个规范化的约束和模板；其次，短文的信息量太少，不利于数据分析；同时，由于缺乏上下文还可能导致短文本数据的二义性，因而在分析的过程中可能会产生错误的主题导向。因此，传统的基于长文本的聚类和挖掘技术并不适用于短文本数据。

在早期的研究中，DARPA设计出了一些用于事件发现和跟踪的工具。GAC-INCR是其中效果最好的工具，其通过聚类方法，对数据进行聚类，然后通过一个相似度阈值约束，将得到的主题结果进行分类，分类结果中一类是历史事件的演变，另一类是新发现的事件。然而，GAC-INCR这类工具只是对数据进行静态的分析，并不能实时动态地跟踪事件的演化过程。此外，GAC-INCR所使用的聚类方法也不适用于短文本数据。

发明内容

根据本发明一个实施例，提供一种短文本数据的事件演化分析方法，该方法包括：

步骤1）、根据词库和当前时段输入的短文本数据构造当前时段的文档—词项矩阵并对其进行非负矩阵分解，得到当前时段的事件—词项矩阵和事件集合；

步骤2）、根据当前时段的事件—词项矩阵和前一时段的事件—词项矩阵计算当前时段的事件和前一时段的事件之间的相似度，根据该相似度、当前时段的事件集合和前一时段的剩余图构造当前时段的事件关系图，其中前一时段的剩余图体现在当前时段之前的每个时段的事件及该事件之间的相似度；

步骤3）、将当前时段的事件关系图分割为一个或多个子图，最大化每个子图之内的事件相似度，最小化每个子图之间的相似度，将该一个或多个子图分别归类为消失事件集、新生成事件集和演化事件集。

在一个实施例中，步骤2)中计算当前时段的事件和前一时段的事件之间的相似度包括：

根据如下公式分别计算当前时段的每个事件与前一时段的每个事件之间的相似度：