[发明专利]数据查询方法及装置

权利要求书

1.一种数据查询方法，其特征在于，应用于驱动器Driver，所述方法包括：

获取目标数据对应的第一行偏移量和第一长度，其中，所述第一行偏移量指示所述目标数据在目标HDFS文件中的起始行，所述第一长度为所述目标数据的行数；

获取所述目标HDFS文件中各个数据块的行数；

根据所述第一行偏移量和第一长度及所述各个数据块的行数，确定所述目标数据对应的目标数据块；

根据所述第一行偏移量和第一长度及所述各个数据块的行数，确定所述目标数据在所述目标数据块中对应的第二行偏移量和第二长度；

向所述目标数据块所对应的执行器Executor发送目标数据获取指令，所述目标数据获取指令包括所述目标数据块的标识信息，及所述目标数据块对应的所述第二行偏移量及所述第二长度。

2.根据权利要求1所述的方法，其特征在于，根据所述第一行偏移量和第一长度及所述各个数据块的行数，确定所述目标数据对应的目标数据块，包括：

按照数据块在目标HDFS文件中的顺序遍历数据块，对于遍历到的任一数据块：

判断该数据块之前的所有数据块与该数据块的行数之和是否大于第一行偏移量，以及判断该数据块之前的所有数据块的行数之和是否小于或者等于第一行偏移量与第一长度之和；

在该数据块之前的所有数据块与该数据块的行数之和大于第一行偏移量，以及该数据块之前的所有数据块的行数之和小于或者等于第一行偏移量与第一长度之和时，确定该数据块为目标数据块。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一行偏移量和第一长度及各个所述数据块的行数，确定所述目标数据在所述目标数据块中对应的第二行偏移量，包括：

针对任一目标数据块，在该目标数据块之前的所有数据块的行数之和大于或者等于所述第一行偏移量时，确定该目标数据块对应的所述第二行偏移量为0；

在该目标数据块之前的所有数据块的行数之和小于所述第一行偏移量时，确定所述第一行偏移量与该目标数据块之前的所有数据块的行数之和的差值为该目标数据块对应的第二行偏移量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一行偏移量和第一长度及各个所述数据块的行数，确定所述目标数据在所述目标数据块中对应的第二长度，包括：

针对任一目标数据块，在该目标数据块之前的所有数据块的行数之和小于或者等于所述第一行偏移量，且该目标数据块之前的所有数据块与该目标数据块的行数之和大于或者等于第一行偏移量与第一长度之和时，将所述第一长度作为该目标数据块对应的第二长度；

在所述该目标数据块之前的所有数据块的行数之和小于或者等于所述第一行偏移量，且该目标数据块之前的所有数据块与该目标数据块的行数之和小于第一行偏移量与第一长度之和时，确定该目标数据块之前的所有数据块与该目标数据块的行数之和与所述第一行偏移量的差值为该目标数据块对应的第二长度；

在该目标数据块之前的所有数据块与该目标数据块的行数之和小于第一行偏移量与第一长度之和，且该目标数据块之前的所有数据块的行数之和大于所述第一行偏移量时，确定该目标数据块的行数为该目标数据块对应的第二长度；

在该目标数据块之前的所有数据块与该目标数据块的行数之和大于或者等于第一行偏移量与第一长度之和，且该目标数据块之前的所有数据块的行数之和大于所述第一行偏移量时，确定第一行偏移量与第一长度之和与该目标数据块之前的所有数据块的行数之和的差值为该目标数据块对应的第二长度。

5.一种数据查询方法，其特征在于，应用于执行器Executor，所述方法包括：

接收来自驱动器Driver的目标数据获取指令，所述目标获取指令中包括目标数据块的标识信息，及所述目标数据块对应的第二行偏移量及第二长度；其中，所述目标数据块对应的第二行偏移量及第二长度是根据第一行偏移量和第一长度及目标HDFS文件中各个数据块的行数确定的；所述第一行偏移量指示所述目标数据在所述目标HDFS文件中的起始行，所述第一长度为所述目标数据的行数；

从所述目标HDFS文件中获取所述目标数据块；

根据所述目标数据块对应的所述第二行偏移量及所述第二长度从所述目标数据块中获取所述目标数据。