[发明专利]一种数据读取方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据读取方法及装置。

背景技术

数组，就是相同数据类型的数据(元素)按一定顺序排列的集合，是把有限个数据类型相同的变量用一个名字命名，然后用编号区分它们的变量的集合，这个名字称为数组名，编号称为下标。现有技术，读取数组中的数据时，采用整块读取的方式。比如，待读取的数据的下标为1000和100001，现有整块读取的方式是将下标1000到下标100001之间的数据作为一个数据块整体读取出来。

由此可见，当待获取的数据的下标不连续的情况下，按照现有技术中的数据读取方式，会将不连续的下标之间所有下标对应的数据都读取出来，而读取的这些位于待获取数据之间的所有数据都是无用数据，现有技术中的数据读取方式会读取到大量的无用数据，而对这些无用数据的读取势必会增加数据的读取时间，从而导致数据的读取效率下降。

发明内容

有鉴于此，本发明实施例提供一种高效的数据读取方法及装置。

为实现上述目的，本发明实施例提供如下技术方案：

一种数据读取方法，所述方法包括：

遍历待读取数据的下标集合中的下标，所述下标集合中的下标按照由小到大的顺序排序；

判断遍历过的下标是否满足预设的整块读取条件，若是，则读取遍历过的下标对应的整块数据，若否，则读取下标对应的数据。

优选的，所述判断遍历过的下标是否满足预设的整块读取条件具体包括：

判断当前遍历到的下标与已遍历过的下标中最小的下标的差值是否超过预设的数据长度阈值，若是，则判断已遍历过的下标的个数是否大于预设的下标个数阈值，所述已遍历过的下标中不包括当前遍历到的下标；

若大于，则所述遍历过的下标为满足预设的整块读取条件的下标。

优选的，所述方法进一步包括：

从所述下标集合中删除所述遍历过的下标，判断所述下标集合中是否还有未遍历的下标，若有，则返回遍历待读取数据的下标集合中的下标步骤。

优选的，所述读取遍历过的下标对应的整块数据具体包括：

读取已遍历过的最小下标到最大下标之间所有下标对应的数据。

优选的，所述遍历待读取数据的下标集合中的下标具体包括：

遍历待读取数据的下标集合中的下标，将所述下标集合中下标进行分组，得到下标子集合，下标子集合中的最大的下标和最小的下标的差值不超过预设的数据长度阈值，所述下标集合中的下标按照由小到大的顺序排序。

优选的，所述判断遍历过的下标是否满足预设的整块读取条件具体包括：

判断下标子集合中的下标个数是否大于预设的下标个数阈值；

若大于，则所述下标子集合中的下标为满足预设的整块读取条件的下标。

优选的，所述读取遍历过的下标对应的整块数据具体包括：

读取下标子集合中最小下标到最大下标之间所有下标对应的数据。

优选的，所述预设的数据长度阈值的确定过程包括：

确定读取待读取数据过程中所占用内存的上限值；

确定所述待读取数据的数据长度值；

依据所述读取待读取数据过程中所占用内存的上限值与所述待读取数据的数据长度值确定所述预设的数据长度阈值。

一种数据读取装置，所述装置包括：

下标遍历模块，用于遍历待读取数据的下标集合中的下标，所述下标集合中的下标按照由小到大的顺序排序；

整块读取条件判断模块，用于判断遍历过的下标是否满足预设的整块读取条件；

整块数据读取模块，用于在整块读取条件判断模块判断出遍历过的下标满足预设的整块读取条件的情况下，读取遍历过的下标对应的整块数据；

下标数据读取模块，用于在整块读取条件判断模块判断出遍历过的下标不满足预设的整块读取条件的情况下，读取下标对应的数据。

优选的，所述整块读取条件判断模块包括：

差值判断模块，用于判断当前遍历到的下标与已遍历过的下标中最小的下标的差值是否超过预设的数据长度阈值；

第一下标个数判断模块，用于在差值判断模块判断出当前遍历到的下标与已遍历过的下标中最小的下标的差值超过预设的数据长度阈值的情况下，则判断已遍历过的下标的个数是否大于预设的下标个数阈值，所述已遍历过的下标中不包括当前遍历到的下标；

第一下标确定模块，用于在下标个数判断模块判断出已遍历过的下标的个数大于预设的下标个数阈值的情况下，则确定所述遍历过的下标为满足预设的整块读取条件的下标。