[发明专利]一种多粒度实时热点聚合方法

权利要求书

1.一种多粒度实时热点聚合方法，其特征在于，包括：

对输入的流式数据进行数据清洗处理，并将处理后的流式数据表示为结构化数据；

对第一预设时间片内的结构化数据进行分词，并计算各所述分词在所有结构化数据中的权重；

根据各所述分词的权重计算当前时间片内各事件的权重，所述当前时间片位于所述第一预设时间片内，所述事件与所述结构化数据一一对应；

对所述事件进行聚合，并根据各所述事件的权重计算聚合后的每个事件簇的权重；

根据各所述事件簇的权重生成排序后的事件列表。

2.根据权利要求1所述的方法，其特征在于，所述结构化数据的属性包括标题和下列属性中的至少一项：时间、地点、人物、关键词、事件类型、情绪；

所述方法还包括：

根据各所述分词的权重计算当前时间片内结构化数据的各属性的权重，并根据所述结构化数据的各属性的权重基于各属性生成排序后的属性列表。

3.根据权利要求2所述的方法，其特征在于，所述对所述事件进行聚合具体包括：

根据各所述事件对应的结构化数据的标题间的文本编辑距离、各属性的语义相似度和各事件的时间轴分布对所述事件进行聚合。

4.根据权利要求1所述的方法，其特征在于，在所述根据各所述分词的权重计算当前时间片内各事件的权重之前，所述方法还包括：

对第一预设时间片内的结构化数据进行词性标注；

对各所述分词进行词性过滤。

5.根据权利要求4所述的方法，其特征在于，在所述根据各所述分词的权重计算当前时间片内的事件的权重之前，所述方法还包括：

计算各所述分词的语义相似度，对语义相似度大于第一预设阈值的分词进行合并操作，并根据各所述分词的权重和词性计算合并后的各分词的权重；

则所述根据各所述分词的权重计算当前时间片内各事件的权重，具体包括：

根据所述合并后的各分词的权重计算当前时间片内各事件的权重。

6.根据权利要求5所述的方法，其特征在于，在所述根据所述合并后的各分词的权重计算当前时间片内各事件的权重之前，所述方法还包括：

删除权重小于第二预设阈值的分词。

7.根据权利要求1-6任一项所述的方法，其特征在于，在所述对所述事件进行聚合之前，所述方法还包括：

根据历史时间片内的事件对当前时间片内的事件的影响力补偿当前时间片内的事件的权重。

8.根据权利要求1-6任一项所述的方法，其特征在于，在所述对所述事件进行聚合之前，所述方法还包括：

对当前时间片内的突发事件的权重进行补偿；所述突发事件为第二预设时间片内首次出现，且权重大于第三预设阈值的事件，所述第二预设时间片位于所述第一预设时间片内，所述当前时间片位于所述第二预设时间片内。