[发明专利]一种带有飞行区的时空数据立方体的建模与查询方法

说明书

一种带有飞行区的时空数据立方体的建模与查询方法，给出一个拥有空间、类别与时间三种维度的时空数据立方体，其结构中使用共享节点方式减少内存，类别维度使用可增量的映射结构保存类别与类别节点的关系；在空间维度，使用射线投射算法判别节点是否处于查询区域内部，同时借助空间维度飞行区的设计，数据结构的高层次空间节点能够省略部分数据的缓存，减少建模时的计算量；而在查询过程中，分离空间节点的采集判断与数据聚集计算，结合多线程及其间的通讯技术。本发明能够借助ECharts实现交互式可视化分析系统，可以快速分析大规模时空数据集的数据分布。

技术领域

本发明涉及可视化分析领域及计算机程序算法领域，特别是涉及一种时空数据预处理生成数据摘要的数据立方体结构的建模与查询方法，属于大数据预处理的交互式可视化分析领域。

背景技术

大数据时代，数据量飞速增长，如何从海量数据中快速挖掘出潜在信息成为现阶段数据库领域的重要挑战。近十几年可视化作为一个新兴学科被广泛研究，出现了大量可视化工具与显示方式，其标志性里程碑是从静态图形到交互式可视化的发展。

时空数据在互联网时代被大量的记录，通常也会带有特定类别，当数据积累后，可视化分析大数据特征与探索数据的时空分布与类别分布等操作在统计计算过程中非常耗时，因而需要能够实时分析的工具来进行优化。考虑到大数据分析过程中并不需要精确查询每个数据项的具体信息，可将数据在预处理后汇总到内存中，以提供即时交互式体验，称之为聚集可视化。若使用数据库语句聚合查询，将消耗大量时间，且不能很好的记录下来供下次查询使用，目前有Nanocubes、imMens、Hashedcubes等数据立方体的预处理工具，提供了构建与查询方法以及交互式可视化显示，能够支持大规模数据可视化分析在现代笔记本主存上运行，但均存在其局限性。

imMens使用Java处理数据结构，前端使用webGL渲染，但在数据结构预处理时便指定了空间分割密度，在交互过程中放大细节将得到粗糙的热力图；Nanocubes与Hashedcubes使用c++语言作预处理，具有良好的性能表现，但算法复杂且对二次开发不友好，并且Nanocubes的单个类别维度不支持256个以上的不同值，在特殊的空间多边形查询中出现与预期不一致的结果。

发明内容

为了降低Nanocubes数据结构预处理方案在构建过程中的耗时与内存消耗，修改单一类别维度不同值的数量上限，解决空间多边形查询在特殊场景下的结果与显示不匹配的问题，并提高数据立方体的可移植性，本发明一种带有飞行区的时空数据立方体建模与查询方法，能够借助ECharts实现交互式可视化分析系统，可以快速分析大规模时空数据集的数据分布。

本发明解决其技术问题所采用的技术方案是：

一种带有飞行区的时空数据立方体的建模与查询方法，所述方法包括以下步骤：

步骤一，数据准备，即对原始时空数据预加工，包括将一对多的映射关系转换为单行记录地理坐标、时间、类别值，转换时间为毫秒值，将数据按照时间排序；

步骤二，建模准备，即启动服务并读取配置文件中的各项配置，包括数据文件路径、数据结构空间维度的深度D、时间维度粒度参数Timespace；

步骤三，数据加载，即按行读取加工好的原始数据得到数据项，将原始时间根据Timespace生成新的时间值，将原始空间地理坐标转换成四分法编码值；

步骤四，数据建模，即构建时空数据立方体的数据结构；

步骤五，模型固化，即将模型数据结构中的无用资源释放；

步骤六，参数准备，即获取对数据结构查询的各个维度的条件，包括空间维度查询多边形的有序顶点集、类别维度多选的数据集合、时间维度起止范围、查询深度；