[发明专利]一种基于海量位置轨迹数据时空分析方法

权利要求书

1.一种基于海量位置轨迹数据时空分析方法，其特征在于，所述方法包括：

步骤一、将空间位置索引信息以ORC文件格式保存在HDFS中；

步骤二、利用Google的S2几何库将对空间位置索引信息Spatial Object转为设定的一种内存格式；

步骤三、基于OGC Open-Gis标准实现空间函数Spatial UDF；

步骤四、通过Spark SQL来描述时空分析的操作，利用空间位置索引和过滤下推提取轨迹信息，利用空间函数和spark算子进行查询分析计算；

所述步骤四中还包括基于Spark的rule的扩展提供内置时空函数的注册以及地理位置索引条件的下推，具体方法为：

步骤一：扩展spark中的Rule[LogicalPlan]， 定义MyUDFTransformRule；

步骤二：编写递归函数traverse，遍历逻辑执行计划树，提取ST_WITHIN函数参数，转换为CellID的IN条件，使用AND拼接到谓词条件上；

步骤三：在apply 中调用traverse，传入LogicalPlan对象进行处理，返回转换之后的LogicalPlan。

2.如权利要求1所述的一种基于海量位置轨迹数据时空分析方法，其特征在于，步骤一中，所述空间位置索引指：设定空间数据schema为(longitude，latitude，fact)，将指定空间区域的明细数据读取出来；

所述利用Google的S2几何库将对空间位置索引信息Spatial Object转为设定的一种内存格式具体为：将经纬度转为S2的Cell编码值并且空间上相邻的区域的编码值前缀相同。

3.如权利要求1所述的一种基于海量位置轨迹数据时空分析方法，其特征在于，所述步骤三中，引入空间过滤函数ST_WITHIN，基于S2表示的空间区域S2Polygon对象，将磁盘中的数据顺序读取出来后，在内存中使用空间过滤函数进行边界过滤，该函数支持Code Gen，减少了copy到spark计算层的数据量。

4.如权利要求1所述的一种基于海量位置轨迹数据时空分析方法，其特征在于，所述步骤二中还包括基于catalyst提供S2空间类型的扩展，具体方法为：

步骤一：扩展spark中的UserDefinedType，定义FS2PolygonUDT；

步骤二：编写序列化和反序列化，实现经纬度集合和多边形互转，定义FS2Polygon。