[发明专利]分页检索方法和装置

说明书

本发明公开了一种分页检索方法和装置，涉及计算机技术领域。其中，该方法包括：响应于用户的分页数据检索请求，基于第一线程池执行数据获取任务，并将获取到的数据对象异步写入有界队列；基于第二线程池执行针对所述有界队列中的数据对象的分页处理任务，将最终处理得到的分页数据集返回至所述用户；其中，所述分页数据集由所述分页数据检索请求指定的分页上的所有数据对象组成。通过以上步骤，能够提高分页检索的效率，满足实际业务场景的分页检索需求。

技术领域

本发明涉及计算机技术领域，尤其涉及一种分页检索方法和装置。

背景技术

现有的分布式检索引擎大多支持分页检索功能。例如，在ElasticSearch这一分布式检索引擎中，可通过From～Size方式实现分页检索功能。在针对海量数据进行分页检索时，From～Size方式的查询效率非常低。另外，在ElasticSearch这一分布式检索引擎中，还可通过游标快照检索方式(即SearchScroll方法)实现分页检索功能。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有分布式检索引擎所提供的分页检索功能往往不能满足实际业务场景的需求。在具体实现分页检索功能时，往往需要在获取数据后进行频繁的数据计算，且数据获取与数据计算耦合在一起，这大大影响了分页检索功能的执行效率。例如，虽然SearchScroll方法很高效，但是在需要进行频繁数据计算的场景(比如深度分页场景、需要数据融合的场景)中，数据获取与数据计算耦合在一起会造成阻塞线程，进而导致分页检索功能效率低下。

发明内容

有鉴于此，本发明提供一种分页检索方法和装置，能够提高分页检索的效率，满足实际业务场景的分页检索需求。

为实现上述目的，根据本发明的一个方面，提供了一种分页检索方法。

本发明的分页检索方法包括：响应于用户的分页数据检索请求，基于第一线程池执行数据获取任务，并将获取到的数据对象异步写入有界队列；基于第二线程池执行针对所述有界队列中的数据对象的分页处理任务，将最终处理得到的分页数据集返回至所述用户；其中，所述分页数据集由所述分页数据检索请求指定的分页上的所有数据对象组成。

可选地，所述基于第一线程池执行数据获取任务的步骤包括：通过调用分布式检索引擎提供的游标快照检索方式获取持久化数据对象；所述将获取到的数据对象异步写入有界队列的步骤包括：将获取到的持久化数据对象异步转换成业务数据对象，然后将所述业务数据对象写入有界队列，并记录所述业务数据对象在有界队列中的编号。

可选地，所述基于第二线程池执行针对所述有界队列中的数据对象的分页处理任务的步骤包括：从所述有界队列中取出一个数据对象，根据取出的数据对象在有界队列中的编号、以及页面上每页需要展示的记录数，判断该数据对象所在的分页页码是否与所述分页数据检索请求中的分页页码相同；在判断结果为是的情况下，将所述数据对象添加至分页数据集中；然后，从所述有界队列中取出下一个数据对象进行处理，直至所述分页数据集中的数据对象个数等于页面上每页需要展示的记录数。

可选地，所述方法还包括：在执行所述从所述有界队列中取出一个数据对象，根据取出的数据对象在有界队列中的编号、以及页面上每页需要展示的记录数，判断该数据对象所在的分页页码是否与所述分页数据检索请求中的分页页码相同的步骤之前，对所述有界队列中的数据对象进行融合处理。

为实现上述目的，根据本发明的另一方面，提供了一种分页检索装置。

本发明的分页检索装置包括：数据获取模块，用于响应于用户的分页数据检索请求，基于第一线程池执行数据获取任务，并将获取到的数据对象异步写入有界队列；分页处理模块，用于基于第二线程池执行针对所述有界队列中的数据对象的分页处理任务，将最终处理得到的分页数据集返回至所述用户；其中，所述分页数据集由所述分页数据检索请求指定的分页上的所有数据对象组成。