[发明专利]伪码信令数据预处理与出行链识别方法

说明书

本发明公开了一种伪码信令数据预处理及出行链识别方法，包括以下步骤：(1)冗余信令记录合并与异常记录剔除；(2)根据乒乓效应记录参数特征，识别乒乓记录并删除；(3)计算用户驻留质心，设定出行发生的时间、空间阈值，识别出行开始记录点；(4)设定用户驻留时间、空间阈值，识别出行结束记录点，完成出行链识别。本发明对数据进行有效清洗过滤，提高数据精准度，并将庞杂的数据提取为有价值的出行OD信息，提高数据在交通等各个领域的可用性。本发明方法适用范围广，简单易行。

技术领域

本发明涉及交通行业大数据处理与分析技术领域，具体的说是从交通行业对伪码信令数据应用的角度，对伪码信令数据进行预处理及出行链识别的方法。

背景技术

随着大数据时代的到来，伪码信令数据等在交通、城市规划等诸多领域崭露头角。大数据技术的广泛研究与应用，为交通拥堵等“交通病”问题的解决带来了新的契机。

但目前对大数据的应用刚刚起步，大数据处理与分析技术仍处于发展阶段，如何从粗糙的海量数据中提取有效数据，精确识别对交通行业有价值的出行链路信息，是研究与应用人员都需要面临的一大难题。

数据清洗方面，现有技术主要沿用传统数据预处理算法对信令数据进行清洗，包括冗余数据删除、异常数据过滤等，并未考虑信令数据自身特征，如特有的乒乓效应等，进而不能够“对症下药”，达到较高的数据清洗水平，降低了数据的准确性与可信度，更大大降低了信令数据在交通领域的可用性。现有的考虑数据乒乓效应，进行乒乓记录剔除的技术中，均只针对单条记录进行过滤，对多条连续记录混杂的乒乓记录无法进行有效剔除。以上数据清洗技术的不完善，限制了大数据在交通行业应用的可信度。

出行链识别方面，现有技术主要基于用户移动速度，并通过聚类的方法识别用户所处运动状态，但由于信令数据采集受到触发机制影响的特征，所计算速度参数并不精确，仅可供参考，因而基于速度识别出行状态也有一定偏差。而基于记录间距离与时间参数特征识别出行链的现有技术中，尚未有提出驻留质心的概念，以提升出行识别的准确度。

针对现阶段伪码信令数据预处理与出行链识别方法存在的缺陷，本发明人积极加以研究创新，提出了一种新的伪码信令数据预处理与出行链识别方法。

发明内容

本发明提供了一种伪码信令数据预处理与出行链识别方法。实现上述发明目的的技术方案如下：

1.计算记录间隔时间、距离等交通特征参数，进行冗余信令记录合并与异常记录剔除；

2.根据乒乓效应记录的时间、距离、方向等参数特征，设定阈值，有效识别乒乓记录并删除；

3.计算用户驻留质心，设定出行发生的时间、空间阈值，识别出行开始记录点；

4.设定用户驻留时间、空间阈值，识别出行结束记录点，完成一次出行的识别。

作为优选，所述冗余记录与异常记录通过如下步骤识别：将各独立用户一天内的信令记录按照时间序列进行排序；根据依次计算同一用户相邻记录时间差与空间距离，进而计算用户移动速度＝空间距离/ 时间差；将短时间间隔内空间位置不变的冗余记录进行合并；将用户移动速度超过城市限速的异常记录进行删除。

作为优选，所述乒乓效应记录通过如下步骤识别：提出通过信令记录分组与分析组间闭环进而识别乒乓效应记录的算法。

a.将按时间排序后的时间序列数据中，相邻、相同经纬度的记录归为同组：

原始记录位置：xy_a,xy_a,xy_b,xy_b,…xy_a,xy_a,xy_a…

分组结果：

其中，xy_i为经纬度位置组合，为所分位置组。