[发明专利]基于Spark的RFID数据生成出行OD矩阵的方法及系统

摘要

本发明提供的基于Spark的RFID数据生成出行OD矩阵的方法及系统，其方法包括将射频设别数据集存储于分布式文件系统中，并将所述射频设别数据集转换为弹性分布式数据集，通过所述弹性分布式数据集获取按时间排序的包含车辆身份信息和行车轨迹的离散序列；提取所述离散序列的起点与终点的射频识别采集点编号，并将编号作为key值，通过将同一key值的value值进行求和，获取OD矩阵并保存；本发明中采用Spark分布式处理技术的优势以及RDD中提供的丰富的对数据操作转换方法，可以高效、快速、低开销地完成车辆出行OD矩阵的生成，避免了通过传统的OD矩阵获取方法带来的人力、财力上的消耗，同样也避免了采用单台计算机处理全局数据时所面对的性能瓶颈问题。

主权项

1.一种基于Spark的RFID数据生成出行OD矩阵的方法，其特征在于：包括：a.将射频识别数据集存储于分布式文件系统中，并将所述射频识别数据集转换为弹性分布式数据集，通过所述弹性分布式数据集获取按时间排序的包含车辆身份信息和行车轨迹的离散序列；b.提取所述离散序列的起点与终点的射频识别采集点编号，并将编号作为key值，整型数值1作为value值；通过将同一key值的value值进行求和，获取OD矩阵并保存；所述步骤a具体包括：a1.将射频识别数据以数据块的形式存储于分布式文件系统中，a2.将存储于分布式文件系统的射频识别数据转换为弹性分布式数据集，将hadoop弹性分布式数据集转换为MapPartition弹性分布式数据集,a3.对所述MapPartition弹性分布式数据集进行map操作，并将每行数据进行元组重组，a4.对所述MapPartition弹性分布式数据集进行reduceByKey操作，将相同key值的数据进行组合，将MapPartition弹性分布式数据集转换为Shuffled弹性分布式数据集，a5.根据所述Shuffled弹性分布式数据集中每条记录的value值，生成一个按时间排序的包括车辆身份信息和行车轨迹的离散序列。