[发明专利]一种搜索结果的生成方法及装置

说明书

本发明适用于搜索技术领域，提供了一种搜索结果的生成方法及装置，包括：对抓取的文档进行分词处理，统计每个分词的词频；分别生成高频词倒排索引和低频词倒排索引，所述高频词倒排索引中的所述分词的词频大于预设阈值，所述低频词倒排索引中的所述分词的词频不大于所述预设阈值；将所述高频词倒排索引和所述低频词倒排索引分别加载至不同的检索模块，所述不同的检索模块之间分别具备相互独立的存储装置；将搜索关键词输入至少一个所述检索模块，在输入的所述检索模块对应的倒排索引中检索所述搜索关键词的文档列表，生成搜索结果。本发明在读取倒排索引数据时，降低了内存占用、减少了磁盘读写，从而大大提高了搜索结果的生成效率。

技术领域

本发明属于搜索技术领域，尤其涉及一种搜索结果的生成方法及装置。

背景技术

随着互联网技术的飞速发展，网络上的信息量每天都呈现着爆炸式的增长，而搜索引擎通过构建有效的数据索引，能够帮助用户快捷地在海量数据中查询到需要的信息。在搜索引擎技术中，倒排索引（Inverted Index）作为最常使用到的一种数据结构，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射，通过倒排索引，可以根据关键词快速地获取到包含这个关键词的文档列表，以生成搜索结果反馈给用户。

现有的搜索引擎中，进行倒排索引的词以及这些词对应的文档列表均是通过单机存储的，由于单机的硬件资源有限，在该存储条件下，进行倒排索引的词数量越多，则由此产生的倒排数据所占用的存储空间也会越大，与此同时，在检索过程中对磁盘的读写次数也会越频繁。例如，以2亿篇文档为例，其中进行倒排索引的词的数量多于14亿，而这些词对应的倒排数据总量则达到了560GB之多，从而导致在搜索过程中，中央处理器（CentralProcessing Unit，CPU）和磁盘的压力增大，无法高效地进行运算，影响倒排索引数据的存取速度，导致搜索结果的生成效率低。

发明内容

本发明实施例的目的在于提供一种搜索结果的生成方法，解决目前搜索引擎中倒排索引数据的存取速度慢，导致搜索结果的生成效率低的问题。

本发明实施例是这样实现的，一种搜索结果的生成方法，包括：

对抓取的文档进行分词处理，统计每个分词的词频，所述分词的词频用于表示包括该分词的所述抓取的文档的数量；

分别生成高频词倒排索引和低频词倒排索引，所述高频词倒排索引中的所述分词的词频大于预设阈值，所述低频词倒排索引中的所述分词的词频不大于所述预设阈值；

将所述高频词倒排索引和所述低频词倒排索引分别加载至不同的检索模块，所述不同的检索模块之间分别具备相互独立的存储装置；

将搜索关键词输入至少一个所述检索模块，在输入的所述检索模块对应的倒排索引中检索所述搜索关键词的文档列表，生成搜索结果。

本发明实施例的另一目的在于提供一种搜索结果的生成装置，包括：

分词处理单元，用于对抓取的文档进行分词处理，统计每个分词的词频，所述分词的词频用于表示包括该分词的所述抓取的文档的数量；

倒排索引生成单元，用于分别生成高频词倒排索引和低频词倒排索引，所述高频词倒排索引中的所述分词的词频大于预设阈值，所述低频词倒排索引中的所述分词的词频不大于所述预设阈值；

倒排索引加载单元，用于将所述高频词倒排索引和所述低频词倒排索引分别加载至不同的检索模块，所述不同的检索模块之间分别具备相互独立的存储装置；

搜索结果生成单元，用于将搜索关键词输入至少一个所述检索模块，在输入的所述检索模块对应的倒排索引中检索所述搜索关键词的文档列表，生成搜索结果。