[发明专利]管理时空数据的方法和装置

说明书

本申请提供一种管理时空数据的方法，可应用于包括协调节点和多个工作节点的分布式系统中。该方法首先通过二分时空图模型G＝(V_L,V_O,E)来表达时空数据，以直接反映数据在时间和空间的关联关系，其中V_L是含位置信息的位置顶点的集合，V_O是不含位置信息的对象顶点的集合，E是连接相关顶点之间的时空边的集合。对于采用二分时空图模型表达的时空数据，利用时空查询的特性，对对象顶点、位置顶点、边采用差异化的划分和存储方案：对象顶点哈希划分并存入分布式数据库；全部位置顶点发送给每个工作节点并存在工作节点的内存；对时空边分别采用对象‑时间和空间‑时间两个维度划分并将划分后的时空边数据采用列式压缩的存储方案。

技术领域

本申请涉及信息技术领域，尤其涉及一种管理时空数据的方法和装置。

背景技术

随着物联网、各种服务联网以及信息化建设的发展，大量包含时间信息和空间信息的数据(以下称作时空数据)产生。例如，在安全城市应用的场景下，人们使用身份证、信用卡，入住旅店、乘坐高铁，进行飞机值机等，这些行为都将产生时空数据。又例如，在套牌车检测的场景下，交通摄像头记录汽车车牌、自动车牌识别等行为也会产生大量的时空数据。又例如，在物流跟踪的场景下，快递的物流网点、转运站对包裹的记录操作也会产生大量的时空数据。

这些时空数据的产生是动态且海量的。以安全城市应用为例，中国有超过13亿人口，美国有超过3亿人口，全世界有超过70亿人口。每天有许多人在旅店入住、乘坐高铁或飞机，每个这样的事件都可以认为是一条时空数据(或时空记录)。如果将信息获取的粒度再缩小一点，那么许多人的日常活动，例如在公交车上刷公交卡、移动支付、扫描二维码解锁共享单车等行为，都会产生时空数据。所以，每天产生的时空记录可能达到10亿条的级别。

对如此巨大的时空数据进行管理，将是非常大的挑战。目前，行业内大多采用图模型来表达时空数据，并采用建立在图模型基础上的图划分技术以及一些数据库系统来对时空数据进行管理(例如，查询、分析和存储等)。但是，由于建立在图模型基础之上的很多技术或者数据库系统对于表达和管理真实世界的实体以及实体之间关联关系是普遍适用的，它并不是针对时空数据的特性而设计，因此在应用于时空数据的管理时性能都较差。例如，查询效率低，数据分析结果不准确，存储占用磁盘空间大等问题是普遍存在的。

发明内容

本申请提供一种管理时空数据的方法和装置，能够提高时空数据的管理性能。例如，可以支持高效查询、提升数据分析的准确性，降低存储开销等。

第一方面，本申请提供一种管理时空数据的方法，应用于包括协调节点和多个工作节点的系统中，该方法包括：所述多个工作节点中的第一工作节点接收包含时间和空间信息的时空数据，其中，所述时空数据通过时空图(V_L,V_O,E)表示，其中，V_L是包含位置信息的多个位置顶点，V_O是不包含位置信息的多个对象顶点，E是连接顶点之间的多个时空边；第一工作节点将所述多个时空边按照第一组合维度划分，以得到所述多个时空边的第一备份；第一工作节点将所述多个时空边按照第二组合维度划分，以得到所述多个时空边的第二备份，第一组合维度和第二组合维度分别由空间维度、对象维度和时间维度中的至少两个维度组合而成；第一工作节点将第一备份存入第一组合维度对应的第一缓冲区，将第二备份存入第二组合维度对应的第一缓冲区。

应理解，本申请中所述的对注入系统的多个时空边进行划分，是指将所述多个时空边划分到对应的工作节点上。

在本申请的技术方案中，通过提出时空图模型(V_L,V_O,E)，并针对时空图中的顶点是否包含位置信息分别定义了对象顶点和位置顶点。针对注入系统的多个时空边，工作节点按照不同的组合维度对其进行划分，可以提高时空数据的管理性能。例如，支持更高效的查询，减少机器间通信的开销以及达到负载均衡的效果等。