[发明专利]一种高效的文本区间热词查询方法

说明书

本发明属于电子信息技术领域，具体为高效的文本区间热词查询方法。现有的热词提取算法一般面向挖掘任务，时间复杂度较高，难以直接应用于热词的在线查询处理。本发明方法包括两个阶段：利用时间序列划分和范围查询的思想，对原始文本数据D进行预处理；数据预处理的基础上，采用优化算法EHWE，对给定查询q的时间范围以及需要提取的热词个数k，计算确定所需热词。与现有的面向挖掘的算法相比，EHWE算法能够在保证计算结果准确率的前提下，有效提高热词在线查询的效率。实验结果表明，与现有的面向挖掘的算法相比，EHWE算法在CNN，BBC和NYT三个数据集涉及的整个时间范围上的运行时间分别减少59.7%，65.1%和75.5%。

技术领域

本发明属于信息检索技术领域，具体涉及一种从文本数据中提取热词的方法。

背景技术

互联网的普及和高速发展满足了人们对信息获取的需求。如何从海量Web文本数据中提取有价值的热门话题成为人们关注的一个焦点问题。为了有效进行话题检测和跟踪(Topic detection and tracking,TDT)，研究者开展了大量研究工作，其中从文本数据中提取热词成为当前研究的热点问题之一。

在已有的热词提取的研究中，TF-IDF(Term Frequency-Inverse DocumentFrequency)用于词权重计算，TF-IDF综合考虑词频和反文档频率，弱化频繁出现在多个文本中的词的重要性。TF-PDF(TF-Proportional Document Frequency)方法综合考虑词频和文档频率，将更高的权重赋予出现在多个文本中的词。Chen算法在TF-PDF方法的基础上，考虑词频随时间的波动情况，并重新定义词权重的计算方法。上述方法能够有效提取与话题相关的词，即满足算法的有效性，但时间复杂度较高，当处理的文本数量庞大时，这些算法的时间消耗较高，因此难以直接应用于热词在线查询问题。

为此，本发明对文本数据的区间热词在线查询问题展开研究。我们认为，热词的在线查询处理方法需要同时满足两个特性：(1)能够有效提取与话题相关的词，即在线查询的有效性；(2)能够快速获得查询时间范围内的热词，即在线查询的时效性。因此，设计同时满足有效性和时效性的热词在线查询方法依然是一个具有挑战性的问题。针对上述方法时效性不足的缺点，本发明提出一种对文本数据的区间热词在线查询处理算法(EHWE)，该算法可以在已划分的数据上进行快速区间查询处理。与现有的面向挖掘的算法相比，EHWE算法能够保证计算结果准确率的前提下，根据用户指定的查询时间范围，降低提取热词的时间消耗，实现热词的在线查询。

发明内容

本发明的目的是针对从文本数据中提取热词复杂度高，难以在大数据集上实际应用的不足，提出一种高效的文本区间热词查询方法，以降低从文本数据中提取热词的复杂度，提升用户体验。

本方法提出的高效的文本区间热词查询方法，利用时间序列划分和范围查询的思想，对原始文本数据进行预处理，建立一种数据结构，并采用优化算法EHWE，使得从文本数据中提取热词的时间复杂度降低。主要贡献包括：

1、本文提出文本区间热词的在线查询处理问题，和面向挖掘的热词提取问题相比，更加关注在线查询的两个特性：有效性和时效性；

2、针对热词的在线查询问题，提出EHWE算法，该算法能够在保证计算结果准确率的前提下，降低了提取热词的时间复杂度；

3、理论分析已有算法和EHWE算法的时间复杂度，并在实际数据集上进行验证。

首先对一些基本概念进行定义：

定义1.话题：话题被定义为一个特定事件或活动，它通常由多个相关联的事件或活动组成和描述；