[发明专利]数据分页查询方法、装置、设备及存储介质

说明书

本发明涉及大数据技术领域，公开了一种数据分页查询方法、装置、设备及存储介质，用于避免在数据查询过程中出现查询结果不准确或查询效率低的问题，提高了数据查询的准确性和效率，从而节约了人力成本和运算资源。上述方法包括：获取查询范围条件，从数据库中获取符合查询范围条件的数据集；获取数据查询条件，确定数据查询条件是否符合预设的条件规则；其中，条件规则包括：数据查询条件中查询字段的变化属性，和/或数据查询条件中查询字段的索引区分度；如果数据查询条件符合条件规则，基于数据查询条件在数据集中进行分页查询，得到符合数据查询条件的查询结果。

技术领域

本发明涉及大数据处理领域，尤其涉及一种数据分页查询方法、装置、设备及存储介质。

背景技术

数据分页查询，是一种操作系统里存储器管理技术，可以允许电脑的主存使用存储在辅助存储器中的数据。操作系统将磁盘等辅助存储器中的数据分区成固定大小的区块，这些区块称为“页”。当不需要该页数据时，将该页数据由内存等主存移到辅助存储器；当需要该页数据时，再将数据取回，加载至主存中。数据分页查询允许存储器存储于不连续的区块以维持文件系统的整齐。

相关技术中，可以通过MyBatis的PageHelper，或其他数据分页的插件或工具实现数据库分页查询操作，但这些工具提供的功能有限，在数据库分页数据处理过程中，还需要数据处理人员根据个人经验手动设置查询条件，如果查询条件设置的不合理，容易引起各类问题。例如，引起数据跳读的问题，进而使数据查询结果不准确；再如，还容易引起读取大量冷数据的问题，导致查询效率低的问题。数据处理人员还需要逐一解决上述问题，导致消耗大量的人力成本和运算资源。

发明内容

本发明提供了一种数据分页查询方法、装置、设备及存储介质，用于避免在数据查询过程中出现查询结果不准确或查询效率低的问题，提高数据查询的准确性和效率，从而节约人力成本和运算资源。

为实现上述目的，本发明第一方面提供了一种数据分页查询方法，该数据分页查询方法包括：获取查询范围条件，从数据库中获取符合查询范围条件的数据集；获取数据查询条件，确定数据查询条件是否符合预设的条件规则；其中，条件规则包括：数据查询条件中查询字段的变化属性，和/或数据查询条件中查询字段的索引区分度；如果数据查询条件符合条件规则，基于数据查询条件在数据集中进行分页查询，得到符合数据查询条件的查询结果。

可选的，在本发明第一方面的第一种实现方式中，上述确定数据查询条件是否符合预设的条件规则的步骤，包括：从数据查询条件中提取查询字段；针对每个查询字段，确定查询字段是否属于变化字段；其中，变化字段对应的字段内容在指定的时间范围内具有发生变化的概率；如果数据查询条件中存在属于变化字段的查询字段，确定数据查询条件不符合预设的条件规则。

可选的，在本发明第一方面的第二种实现方式中，上述确定数据查询条件是否符合预设的条件规则的步骤，包括：从数据查询条件中提取查询字段；针对每个查询字段，获取查询字段的索引区分度，确定索引区分度是否大于预设的区分度阈值；如果数据查询条件中存在引区分度小于区分度阈值的查询字段，确定数据查询条件不符合预设的条件规则。

可选的，在本发明第一方面的第三种实现方式中，上述如果数据查询条件符合条件规则，基于数据查询条件在数据集中进行分页查询，得到符合数据查询条件的查询结果的步骤，包括：如果数据查询条件符合条件规则，基于数据查询条件在数据集中进行分页查询，得到初始查询结果；其中，初始查询结果包括至少一页数据；获取排序字段，针对每页数据，基于排序字段对页数据进行排序；其中，如果排序字段包括单一字段，任意两条数据中，排序字段的字段内容不同；如果排序字段包括多个字段，任意两条数据中，多个字段的字段内容组合不同；将排序后的每页数据确定为最终查询结果。