[发明专利]一种基于路网数据的GPS轨迹清洗方法

说明书

本发明提供一种基于路网数据，对车辆GPS数据清洗的方法，涉及交通大数据处理领域。发明采用HDFS存储数据，MapReduce计算框架处理数据，以消除GPS数据中的异常记录。包括连续时间戳下距离偏差过大的漂移点，相同时间戳下多条记录的轨迹点，即出现重复数据，以及相邻两记录之间时差和距离过大的跳跃点。对于重复数据，通过按时间戳去重算法，去掉重复数据。根据时间和距离计算GPS轨迹中相邻两点的速度，若速度大于设定阈值，则视为漂移点，并剔除该数据。对于跳跃点，结合路网数据，利用迪杰斯特拉算法计算跳跃点之间的最短带权路径，作为跳跃点间的补充轨迹，将路径中经过的道路结点依次插入跳跃点之间。

技术领域

本发明涉及交通大数据处理领域，尤其涉及一种基于路网数据的GPS轨迹清洗方法。

背景技术

交通工具的GPS定位数据作为监测车辆位置信息最为主要的数据，能够直观反映出道路总体和局部的交通状况，动态展示道路通行能力和拥堵程度。对于出租车和网约车等浮动车辆，GPS数据还能获取载客状态和收费情况，利用浮动车辆GPS数据还能分析客流需求以及调整优化车辆运营线路。相关的研究分析在城市交通规划领域有着很广的应用，能够给交通部门提供决策依据，促进城市交通出行体验的改善。

但是由于GPS设备自身和网络通信的原因，采集的位置信息会出现各种的异常情况，包括因设备掉线导致的相邻两点之间存在很大的时差和距离的异常情况；因设备异常导致在连续时间下，GPS位置距离过大，即出现漂移点的异常情况；以及设备因通信异常导致的相同时间下，返回多条位置记录的异常情况。

对这些异常值进行处理，能够使GPS数据和城市道路空间数据更好匹配，从而更加准确地反映道路情况，并为上层应用提供较为精准的道路基础数据。

发明内容

本发明的目的是提供一种基于路网数据的GPS轨迹清洗方法。

为了实现上述目的，本发明的技术方案是：

一种基于路网数据的GPS轨迹清洗方法，其特征在于，包括以下步骤：

步骤S1)准备数据，包括原始GPS数据和对应城市的路网空间shp文件；

步骤S2)整理数据，提取目标数据；

步骤S3)按照GPS时间戳去重算法，去除重复数据；

步骤S4)对比连续相邻记录，合并位置相同的数据；

步骤S5)通过速度阈值判断漂移记录，剔除速度大于阈值的GPS记录；

步骤S6)根据时差和距离判断跳跃点，利用迪杰斯特拉算法计算跳跃点之间的最短带权路径，进行补点。

进一步地，所述步骤S1：准备数据，包括原始GPS数据和对应城市的路网空间SHP文件，并将SHP文件转为GeoJson格式的文本文件。

文件。

进一步地，所述步骤S2：考虑到计算成本和实际需求，往往不需要对所有数据进行清洗，通过整理数据来提取所需的目标数据。对于不同类型的交通工具可以采取不同的整理方式。对于普通交通工具可按时间需求，如早晚峰，提取所需目标数据。对于网约车和出租车可以在时间基础上，综合订单相关属性，如行驶里程和消费金额，提取所需目标数据。并对提取的目标数据按照车辆唯一识别码(如车牌号)和GPS时间戳进行排序。至此获取到初始数据，作为下一步骤的输入，开始清洗。

进一步地，所述步骤S3：以步骤S2初始数据中的车辆唯一识别码，或者网约车和出租车中的订单，作为清洗单位。若连续出现时间戳相同的一片数据，记该时间戳前一时刻的记录为N_start，后一时刻的记录为N_end，通过

速度公式：

V＝S÷T