[发明专利]一种数据检索方法和装置

说明书

本发明公开了一种数据检索方法与装置，包括：将检索引擎中的映射表和高频文档同步到非易失性内存储器，响应于接收到不同检索条件，通过映射表在易失性内存储器中执行反向索引，以获得不同被检索文档，根据不同被检索文档的各自的被检索频率重新确定高频文档，获取新增索引文档并写入非易失性内存储器，并在非易失性内存储器中根据新增索引文档更新映射表，将重新确定的高频文档、新增索引文档、和更新的映射表反馈到检索引擎。本发明的技术方案能够以更快的速度检索非结构化数据，一次性载入数据并提高检索引擎读取数据的速度，降低检索引擎的响应时间，提高工作效率。

技术领域

本发明涉及数据库领域，并且更具体地，特别是涉及一种数据检索方法与装置。

背景技术

由于互联网物联网应用的发展，检索海量数据成为技术发展的挑战。传统的关系型数据库只能满足关系型数据的检索需要，而当前非结构化数据的增长已经超出了结构化关系型数据。为解决海量非结构化数据的全文检索需求，高效快速的全文检索引擎技术成为当前的技术热点。

现有技术的全文检索引擎能够收集数据建立索引库，将现实中的结构化数据和非结构化数据进行提取信息创建索引。索引是为字符串到文件的映射，建立索引可以大大提高检索效率。问题在于，全文检索引擎将索引库、类型表、文档、映射表等等信息存储在磁盘中，磁盘读写性能限制了读取数据的速率；同时由于数据量大，读取的数据需要切分为多个分段文件，在进入内存时无法一次全部读入内存。这两个问题都会延长全文检索引擎的响应时间。

针对现有技术中检索引擎读取数据的速度慢、加载数据分段的问题，目前尚未有有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种数据检索方法与装置，能够以更快的速度检索非结构化数据，一次性载入数据并提高检索引擎读取数据的速度，降低检索引擎的响应时间，提高工作效率。

基于上述目的，本发明实施例的一方面提供了一种数据检索方法，包括周期性地执行以下步骤：

将检索引擎中的映射表和高频文档同步到非易失性内存储器；

响应于接收到不同检索条件，通过映射表在易失性内存储器中执行反向索引，以获得不同被检索文档；

根据不同被检索文档的各自的被检索频率重新确定高频文档；

获取新增索引文档并写入非易失性内存储器，并在非易失性内存储器中根据新增索引文档更新映射表；

将重新确定的高频文档、新增索引文档、和更新的映射表反馈到检索引擎。

在一些实施方式中，检索引擎配置为包括用于连接到非易失性内存储器的非易失性内存储器接口；

将检索引擎中的映射表和高频文档同步到非易失性内存储器包括：将检索引擎中的映射表和高频文档通过非易失性内存储器接口同步到非易失性内存储器。

在一些实施方式中，将重新确定的高频文档、新增索引文档、和更新的映射表反馈到检索引擎包括：将重新确定的高频文档的文档标识、新增索引文档的文档数据、和更新的映射表的表数据通过非易失性内存储器接口发送到检索引擎。

在一些实施方式中，接收到不同检索条件包括接收到一个或多个不同检索字符串；

响应于接收到不同检索条件，通过映射表在易失性内存储器中执行反向索引，以获得不同被检索文档，包括针对一个或多个不同检索字符串分别执行以下步骤：

根据一个或多个不同检索字符串分别从非易失性内存储器中存储的映射表中提取对应的文档链表；

当一个或多个不同检索字符串为多个不同检索字符串时，还将多个不同检索字符串各自对应的文档链表根据不同检索条件合并为总链表；