[发明专利]数据查询方法及装置

说明书

本公开涉及一种数据查询方法及装置，包括：获取目标数据对应的第一行偏移量和第一长度；根据所述第一行偏移量和第一长度及所述各个数据块的行数，确定所述目标数据对应的目标数据块；根据所述第一行偏移量和第一长度及所述各个数据块的行数，确定所述目标数据在所述目标数据块中对应的第二行偏移量和第二长度；向所述目标数据块所对应的执行器Executor发送目标数据获取指令，所述目标数据获取指令包括所述目标数据块的标识信息，及所述目标数据块对应的所述第二行偏移量及所述第二长度。本公开实施例提供的数据查询方法及装置能够根据用户需求直接从目标HDFS文件中获取指定的数据，实现分页查询，并可以提高数据查询效率，减少对内存的消耗。

技术领域

本公开涉及大数据技术领域，尤其涉及一种数据查询方法及装置。

背景技术

Spark SQL是一种基于Spark的分布式SQL引擎。

在通过Spark SQL(一种基于Spark的分布式SQL引擎)从HDFS(HadoopDistributed File System，分布式文件系统)中读取数据时，相关技术仅能实现查询前N行数据，而不能按照用户需求查询前N行至前N+M行的数据，因此无法实现分页查询。

发明内容

有鉴于此，本公开提出了一种数据查询的方法，能够根据用户需求直接从HDFS中获取指定的数据，实现分页查询，并可以提高数据查询效率，减少对内存的消耗。

根据本公开的一方面，提供了一种数据查询方法，应用于驱动器Driver，所述方法包括：

获取目标数据对应的第一行偏移量和第一长度，其中，所述第一行偏移量指示目标数据在目标HDFS文件中的起始行，所述第一长度为所述目标数据的行数；

获取所述目标HDFS文件中各个数据块的行数；

根据所述第一行偏移量和第一长度及所述各个数据块的行数，确定所述目标数据对应的目标数据块；

根据所述第一行偏移量和第一长度及所述各个数据块的行数，确定所述目标数据在所述目标数据块中对应的第二行偏移量和第二长度；向所述目标数据块所对应的执行器Executor发送目标数据获取指令，所述目标数据获取指令包括所述目标数据块的标识信息，及所述目标数据块对应的所述第二行偏移量及所述第二长度。

根据本公开的另一方面，提供了一种数据查询方法，应用于执行器Executor，所述方法包括：

接收来自驱动器Driver的目标数据获取指令，所述目标获取指令中包括目标数据块的标识信息，及所述目标数据块对应的第二行偏移量及第二长度；

从目标HDFS文件中获取所述目标数据块；

根据所述目标数据块对应的所述第二行偏移量及所述第二长度从所述目标数据块中获取所述目标数据。

根据本公开的另一方面，提供了一种数据查询装置，应用于驱动器Driver，所述装置包括：

第一获取模块，用于获取目标数据对应的第一行偏移量和第一长度，其中，所述第一行偏移量指示目标数据在目标HDFS文件中的起始行，所述第一长度为所述目标数据的行数；

第二获取模块，用于获取所述目标HDFS文件中各个数据块的行数；

第一确定模块，用于根据所述第一行偏移量和第一长度及所述各个数据块的行数，确定所述目标数据对应的目标数据块；

第二确定模块，用于根据所述第一行偏移量和第一长度及所述各个数据块的行数，确定所述目标数据在所述目标数据块中对应的第二行偏移量和第二长度；