[发明专利]海量数据查询方法和装置、服务器

说明书

技术领域

本公开涉及数据库技术，特别涉及一种海量数据查询方法和装置、服务器。

背景技术

伴随着互联网技术和信息技术的飞速发展以及云计算时代的来临，海量数据的处理越来越重要，海量数据蕴藏着巨大的价值，越来越多的企业和科研机构开始挖掘海量数据中潜藏的规律，以用于商业或科研决策。其中，在对海量数据的处理中可以包括对数据有效的搜索，要从海量数据中查询到符合用户搜索条件的部分数据展示给用户查看。

发明内容

本公开提供一种海量数据查询方法和装置、服务器，以提高海量数据查询的效率。

根据本公开实施例的第一方面，提供一种海量数据查询方法，包括：

接收用于在海量数据库中进行数据查询的查询请求，所述查询请求包括：要获取的目标数据对应的数据日期和数据所在的展示页；

根据所述数据日期和展示页，从所述海量数据库中获取包括所述目标数据的至少一个数据子表；

对所述至少一个数据子表中的数据进行过滤和排序，得到所述展示页包括的所述目标数据。

在一实施例中，所述根据数据日期和展示页，由所述海量数据库中获取包括目标数据的至少一个数据子表，包括：根据所述目标数据对应的数据日期、以及所述数据子表的日期维度，得到所述日期维度符合所述数据日期的数据子表作为待选数据子表；根据所述展示页、每个展示页包括的数据量以及所述数据子表的日期维度，由所述待选数据子表中获取包括所述展示页数据的子表即所述数据子表。

在一实施例中，所述对所述至少一个数据子表中的数据进行过滤，包括：根据获取的过滤条件，由所述至少一个数据子表中获取符合所述过滤条件的查询结果数据。

在一实施例中，所述对所述至少一个数据子表中的数据进行排序，包括：将所述查询结果数据加载至内存，并使用桶排序，由所述查询结果数据中选择所述展示页对应的目标数据桶，所述目标数据桶包括所述目标数据；对所述目标数据桶的数据进行堆排序得到所述目标数据。

在一实施例中，所述海量数据库是关系型数据库，所述关系型数据库包括按照日期维度分布的各个所述数据子表。

根据本公开实施例的第二方面，提供一种海量数据查询装置，包括：

请求接收模块，用于接收用于在海量数据库中进行数据查询的查询请求，所述查询请求包括：要获取的目标数据对应的数据日期和数据所在的展示页；

子表确定模块，用于根据所述数据日期和展示页，由所述海量数据库中获取包括所述目标数据的至少一个数据子表；

过滤排序模块，用于对所述至少一个数据子表中的数据进行过滤和排序，得到所述展示页包括的所述目标数据。

在一实施例中，所述子表确定模块包括：初选子模块，用于根据所述目标数据对应的数据日期、以及所述数据子表的日期维度，得到所述日期维度符合所述数据日期的数据子表作为待选数据子表；终选子模块，用于根据所述展示页、每个展示页包括的数据量以及所述数据子表的日期维度，由所述待选数据子表中获取包括所述展示页数据的子表即所述数据子表。

在一实施例中，所述过滤排序模块，包括：数据过滤子模块，用于根据获取的过滤条件，由所述至少一个数据子表中获取符合所述过滤条件的查询结果数据。

在一实施例中，所述过滤排序模块还包括：内存排序子模块，用于将所述查询结果数据加载至内存，并使用桶排序，由所述查询结果数据中选择所述展示页对应的目标数据桶，所述目标数据桶包括所述目标数据；对所述目标数据桶的数据进行堆排序得到所述目标数据。

根据本公开实施例的第三方面，提供一种服务器，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：接收用于在海量数据库中进行数据查询的查询请求，所述查询请求包括：要获取的目标数据对应的数据日期和数据所在的展示页；根据所述数据日期和展示页，由所述海量数据库中获取包括所述目标数据的至少一个数据子表；对所述至少一个数据子表中的数据进行过滤和排序，得到所述展示页包括的所述目标数据。

本公开的实施例提供的技术方案可以包括以下有益效果：通过在海量数据库中通过多个数据子表存储数据，并选择其中包括查询目标数据的部分子表参与过滤和排序，相对于全量数据搜索，提高了海量数据查询的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明