[发明专利]一种内存检索系统和方法、以及实时检索系统和方法

说明书

技术领域

本发明涉及数据处理技术，尤其涉及一种内存检索系统和方法、以及实时检索系统和方法。

背景技术

现有支持实时检索的系统，将索引和检索合并到一个进程中，它将索引和检索合并到一个进程里，新的倒排索引可以立即被检索使用。当内存中的索引数据达到阈值或者间隔时间达到阈值后，将内存的索引数据合并到磁盘的索引数据中。如此，检索时需要同时查找内存的索引数据和磁盘的索引数据。当检索数据集较小时，该检索系统的实时性能够满足要求。但由于将检索和索引集成在一个进程里，检索和索引均会消耗大量的计算资源，在拥有海量数据的检索系统中，采用类似的检索架构将消耗大量的硬件设备，成本高且效率低。

发明内容

有鉴于此，本发明的主要目的在于提供一种内存检索系统和方法、以及实时检索系统和方法，不仅能够实现实时快速的内存检索，而且能够降低成本和提高效率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种内存检索系统，所述系统包括：索引模块和检索模块；其中，索引模块，设置有多个索引数据库，用于分库得到和记录索引数据，并分库将更新的索引数据同步给所述检索模块；

检索模块，用于接收所述索引模块同步的索引数据，更新内存中相应的索引数据库，并将相应的索引数据库指针切换到更新后的索引数据库上。

在上述方案中，所述索引模块，用于对当前接收到的原始数据进行处理，得到索引数据并记录到当前索引数据库，将当前索引数据库的索引数据同步给所述检索模块。

在上述方案中，所述索引模块设置的各索引数据库按照所保存数据的更新时间排序；所述索引模块，还用于在当前索引数据库存满时，将当前得到索引数据记录到下一个索引数据库，并将下一个索引数据库的索引数据同步给所述检索模块；如此往复，在最后一个索引数据库存满时，清空第一个索引数据库，将当前得到的索引数据记录到第一个索引数据库，并将第一个索引数据库的索引数据同步给所述检索模块。

在上述方案中，所述索引模块包括数据接收子模块、索引数据生成子模块和索引数据同步子模块；其中，

数据接收子模块，用于接收原始数据，生成源数据文件；

索引数据生成子模块，用于对所述源数据文件进行处理，得到倒排信息，保存到当前索引数据库的倒排库，并通知所述索引数据同步子模块；

索引数据同步子模块，用于在接收到所述索引数据生成子模块的通知后，将当前索引数据库中倒排库的倒排信息同步给所述检索模块。

在上述方案中，所述索引模块设置的各索引数据库包括一个用于记录顺排信息的顺排库和一个用于记录倒排信息的倒排库；

所述索引数据生成子模块，用于对所述源数据文件进行顺排处理，得到顺排信息并记录到当前索引数据库的顺排库，再对所述顺排信息进行倒排处理，得到倒排信息并记录到当前索引数据库的倒排库。

在上述方案中，所述检索模块，用于：接收所述索引数据同步子模块同步的倒排信息，先将所接收到的倒排信息加载到内存的一个临时数据库中，待当前索引数据库的倒排库中所有倒排信息同步完成后，将相应的索引数据库指针切换到所述临时数据库上，并将所述临时数据库作为新的索引数据库替换掉内存中相应的索引数据库。

本发明还提供了一种实时检索系统，所述实时检索系统包括磁盘检索子系统、第一内存检索子系统和第二内存检索子系统；其中，

所述磁盘检索子系统包含有全部的索引数据，用于对全部数据进行检索；

所述第一内存检索子系统包含最近第一时间阈值内更新的索引数据，用于对最近第一时间阈值内更新的数据进行检索；

所述第二内存检索子系统包含最近第二时间阈值内更新的索引数据，用于对最近第二时间阈值内更新的数据进行检索；

所述第一时间阈值和第二时间阈值为预先设置，且所述第二时间阈值小于所述第一时间阈值。

在上述方案中，所述第一内存检索子系统包括：第一索引模块和第一检索模块；其中，

第一索引模块，设置有多个索引数据库，用于分库得到和记录最近第一时间阈值内更新的索引数据，并分库将更新的索引数据同步给所述第一检索模块；

第一检索模块，用于接收所述第一索引模块同步的索引数据，更新内存中相应的索引数据库，并将相应的索引数据库指针切换到更新后的索引数据库上；以及，用于对最近第一时间阈值内更新的数据进行检索。

在上述方案中，所述第一时间阈值为两天。

在上述方案中，所述第二内存检索子系统包括：第二索引模块和第二检索模块；其中，