[发明专利]基于相似文本反馈的社交媒体文本查询扩展方法

说明书

技术领域

本发明属于数据挖掘和数据检索技术领域，具体涉及一种社交媒体文本查询扩展方法。

背景技术

全球互联网中存在大量数据，特别是社交媒体上，每天更是产生了数以千亿计的海量数据，有效的分析、处理并获取有用的数据是现在研究的热点。其中，推特这个全球性质的社交媒体中的信息值得研究。推特是一家美国微博客服务网站以及社交络平台，全球互联日访问量最大的网站之一，用户可以在推特上发布160个字符之内的短文本。在2006年由多尔西推出后，推特迅速发展，风靡全球。到了2016年的第4季度，推特上的月活跃用户已经到达了3.19亿，而这么多的活跃人数使得推特上的信息时刻都在更新，其数据量还在不断增加。

一般在信息检索中，检索系统根据用户输入的查询词进行匹配，只有满足用户的查询规则时才能被检索到。但是，对于用户输入的查询词往往会有许多种相关表示(用户不能很好地去想到所有的查询词)，它们也是对用户需求的表达，因为不在查询词中，它们将不会作为查询依据，这将对查询结果产生很大影响。查询扩展将很好的去解决这种潜在查询词与用户输入不匹配的问题，它包含了两个主要步骤：扩展查询词，重构查询词。同时在查询扩展中存在着几种非常经典的方法：基于相关反馈的查询扩展，基于全局分析的查询扩展，基于局部反馈的查询扩展。

传统扩展查询方法文本筛选时一般使用TF-IDF算法对文本进行筛选，该方法主要根据查询词在文本中出现的频率以及权重进行分析的，接着使用伪相关反馈建立模型，依据文本逻辑相关筛选出新的词语，将原有词进行扩展，最后使用BM25算法对带扩展词语料库进行筛选，最终将用户可能关心的文本输出。上述方法是筛选查询词与文本相关性的主流方法，但是这类方法存在的问题是根据查询词在文本中出现的频率来筛选并不能有效得到满足用户需求的结果，如与用户相关文本中所含有查询词较少甚至不存在显然使用上述方法会将这类文本遗漏。也导致了许多与用户查询相关的文本集合被过滤，进而导致语料库中含有的待扩展词存在缺失。

发明内容

为解决现有技术存在的上述问题，本发明提出了一种基于相似文本反馈的社交媒体文本查询扩展方法。

本发明的具体技术方案为：一种基于相似文本反馈的社交媒体文本查询扩展方法，具体包括如下步骤：

步骤S1.输入原始查询词与原始文本；

步骤S2.对原始文本进行预处理与分词；

步骤S3.对步骤S2处理后的文本进行聚类；

步骤S4.步骤S3聚类后的文本进行筛选，

步骤S5.对步骤S4筛选出文本进行查询词扩展，一旦达到收敛条件就输出结果。

本发明的有益效果：本发明的方法将具有相同语义的文本进行聚类，筛选与用户查询相似的文本类作为语料库，将传统的逐条文本筛选改为逐类，如果含有较少查询词的相似文本存在于被选取的类中，这些文本也可以被筛选，可以获取到相似性最高的文本进行扩展，并结合使用时序模型对已知的查询词进行扩展，能够有效的提高文本和查询词扩展的准确性。本发明的方法有效解决了与用户相似的文本由于含有查询词较少而被遗漏问题，使得最终结果的精确度有了大幅的提高。

附图说明

图1为本发明的基于相似文本反馈的文本查询扩展方法流程图。

具体实施方式

下面结合附图对本发明的实施例做进一步的说明。

本发明的方法是基于相似文本反馈的社交媒体文本的查询扩展方法进行研究，具体流程如图1所示：包含了输入原始查询词与原始文本、文本处理、文本聚类、相关文本筛选、查询词扩展及收敛性条件判定这5个步骤。首先用户输入原始查询词与原始文本，接着对原始文本进行预处理与分词，为文本聚类做准备，然后对处理后的文本进行聚类，可以得到语义相似的文本，筛选出相似文本后对这些文本进行查询词扩展，一旦达到收敛条件就输出结果。具体说明如下：

步骤S1.输入原始查询词与原始文本：

步骤S2.对原始文本进行预处理与分词：

文本处理是一个重要的步骤，由于社交网络上文本的不确定与不规范特性，大量文本都是不规范的，因此需要对输入的原始文本进行处理，它包含了文本正规化，去除重复文本等步骤。