[发明专利]时空数据的处理方法、装置、电子设备和存储介质

说明书

本申请提供一种时空数据的处理方法、装置、电子设备和存储介质，该方法包括：对多条时空数据中每条时空数据的经纬度信息进行编码，得到每条时空数据对应的第一编码数据；为每条时空数据对应的第一编码数据添加时间戳信息，得到每条时空数据对应的第二编码数据；对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果生成多个第一存储文件；在未合并的所述第一存储文件的数量达到指定个数时，将所述未合并的所述第一存储文件合并为一个第二存储文件；对每个所述第二存储文件中的所有第二编码数据进行重新排序。以此能够改善传统的随机存储方式不便于对大量的时空数据进行管理的问题。

技术领域

本申请涉及大数据处理技术领域，具体而言，涉及一种时空数据的处理方法、装置、电子设备和存储介质。

背景技术

时空数据是指同时具有时间、空间维度信息的数据，实际生活中产生的时空数据具有多源、海量、更新快的特点。而随着互联网的高速发展、智能设备的完善，产生的时空数据将越来越多。

在大数据环境下，传统的随机存储方式不便于对大量的时空数据进行管理。

发明内容

本申请实施例的目的在于提供一种时空数据的处理方法、装置、电子设备和存储介质，用以改善传统的随机存储方式不便于对大量的时空数据进行管理的问题。

第一方面，实施例提供一种时空数据的处理方法，所述方法包括：

对多条时空数据中每条时空数据的经纬度信息进行编码，得到每条时空数据对应的第一编码数据；

为每条时空数据对应的第一编码数据添加时间戳信息，得到每条时空数据对应的第二编码数据；

对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果生成多个第一存储文件；

在未合并的所述第一存储文件的数量达到指定个数时，将所述未合并的所述第一存储文件合并为一个第二存储文件；

对每个所述第二存储文件中的所有第二编码数据进行重新排序。

通过上述方法，对于大量的时空数据，能够依据经纬度、时间戳进行编码，从而可以将得到的第二编码数据作为用于实现数据过滤的索引内容。当对这些第二编码数据进行排序并生成第一存储文件后，可以实现基于索引内容的序列划分，划分的内容即为每个第一存储文件中的内容。当包含大量第二编码数据的多个第一存储文件被合并为第二存储文件，并进行重新排序后，可以实现对于各个第一存储文件内的内容更新，从而使得每个第二存储文件内的各个第一存储文件之间也实现有序存储。由于对时空数据的索引内容进行了有序存储，可以较为方便地基于有序的索引内容对大量时空数据进行管理，有利于数据的快速加载。

在可选的实施方式中，所述对多条时空数据中每条时空数据的经纬度信息进行编码，得到每条时空数据对应的第一编码数据，包括：

将多条时空数据中的每条时空数据的经纬度信息映射为小区号，并对所述小区号进行编码，得到所述时空数据的第一编码数据。

通过上述实施方式，在存储过程中的编码阶段由于将经纬度信息映射为小区号并对小区号进行编码，有利于实现数据分类，在后续基于存储结果进行数据查询时能够快速得到所查询的数据的空间属性。

在可选的实施方式中，所述对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果生成多个第一存储文件，包括：

对所述多条时空数据对应的所有第二编码数据进行排序，并根据排序结果以及预设的字节长度，对所述多条时空数据对应的所有第二编码数据进行打包，得到所述多条时空数据对应的多个第一存储文件。

通过上述实施方式，可以使得大量时空数据对应的每个第一存储文件中，各编码数据是按照第二编码数据的排序结果进行存储的，通过索引数据的有序存储能够实现时空数据特征的有序存储，便于后续查询。