[发明专利]一种基于海量位置轨迹数据时空分析方法

说明书

本发明公开了一种基于海量位置轨迹数据时空分析方法，包括：将空间位置索引信息以ORC文件格式保存在HDFS中；利用Google的S2几何库将对空间位置索引信息Spatial Object转为设定的一种内存格式；基于OGC Open‑Gis标准实现空间函数Spatial UDF；通过Spark SQL来描述时空分析的操作，利用空间位置索引和过滤下推提取轨迹信息，利用空间函数和spark算子进行查询分析计算。本发明的技术方案在存储压缩率、时空分析性能、组件运维成本等方面较传统方案以及业界已有方案有较为明显优势，说明了该方法的可行性和有效性。

技术领域

本发明公开了一种基于海量位置轨迹数据时空分析方法，涉及位置轨迹数据分析技术领域。

背景技术

随着移动互联网、物联网、5G的飞速发展，我们可以获取到大量的时间和空间属性的高维数据，从这些海量的位置轨迹数据中挖掘出有用的信息一直是个研究重点，同时也对数据库产品的存储和分析能力提出了严峻的挑战。而传统数据库在海量位置轨迹数据下存储存在瓶颈，无法进行分布式扩展，缺乏针对时空数据模型、时空索引和时空算子。

比如，PostGIS是对象关系型数据库PostgreSQL的一种扩展，来支持GIS对象存储在数据库，提供空间位置索引以及函数来分析处理GIS对象，但是单机版的PostgreSQL存储空间有限，数据存储压缩效率也不高。针对海量位置轨迹数据的场景，GeoMesa提供基于分布式计算系统的大规模地理空间分析能力，支持水平扩容，但是存储计算依赖如HBase、Spark等外部组件，数据多次转换，同时也具有较高的运维成本。另外，已有方案从海量位置轨迹数据中，快速并精确提取出包含在指定几何空间区域中的大量数据，也存在一定的性能瓶颈。

发明内容

为了解决已有技术方案中存储空间扩容难、数据压缩率不高、位置数据过滤与拉取低效、时空分析能力不足等问题，本发明提供一种基于海量位置轨迹数据时空分析方法，本发明所公开的技术方案通过Spark、ORC搭建基础架构，数据存储在HDFS上。通过S2构建空间位置索引，在Spark SQL上扩展时空计算方法（空间计算、边界过滤等）。

本发明为解决上述技术问题采用以下技术方案：

一种基于海量位置轨迹数据时空分析方法，所述方法包括：

步骤一、将空间位置索引信息以ORC文件格式保存在HDFS中；

步骤二、利用Google的S2几何库将对空间位置索引信息Spatial Object转为设定的一种内存格式；

步骤三、基于OGC Open-Gis标准实现空间函数Spatial UDF；

步骤四、通过Spark SQL来描述时空分析的操作，利用空间位置索引和过滤下推提取轨迹信息，利用空间函数和spark算子进行查询分析计算。

作为本发明的进一步优选方案，步骤一中，所述空间位置索引指：设定空间数据schema为(longitude，latitude，fact)，所述的longitude表示精度，latitude表示纬度，fact表示事实明细数据，将指定空间区域的明细数据读取出来；

所述利用Google的S2几何库将对空间位置索引信息Spatial Object转为设定的一种内存格式具体为：将经纬度转为S2的Cell编码值并且空间上相邻的区域的编码值前缀相同。

作为本发明的进一步优选方案，所述步骤三中，引入空间过滤函数ST_WITHIN，基于S2表示的空间区域S2Polygon对象，将磁盘中的数据顺序读取出来后，在内存中使用空间过滤函数进行边界过滤，该函数支持Code Gen，减少了copy到spark计算层的数据量。

作为本发明的进一步优选方案，所述步骤二中还包括基于catalyst提供S2空间类型的扩展，具体方法为：