[发明专利]一种基于Spark的路网交通运行分析方法

权利要求书

1.一种基于Spark的路网交通运行分析方法，其特征在于，包括以下步骤：

1)首先利用5台PC机搭建包含一个主节点和四个从节点的Spark大数据机器学习平台；主节点作为大数据机器学习平台的控制节点，从节点作为大数据机器学习平台的工作节点，各节点间在一个局域网内通过千兆以太网进行互相连接通信；

2)以实时的交通流数据为基础，在Spark大数据机器学习平台上采用分布式k-means算法进行交通运行状态聚类，并输出最佳的交通运行状态聚类结果T′；

根据实际的交通流运行情况将最佳的交通运行状态聚类结果T′中不同簇中的交通流数据赋予一个交通运行状态，其最终的聚类结果为T＝{(x_i,M_j)；i＝1,2,...,n；j＝1,2,...,5}，其中x_i表示交通流运行数据，包括交通流量、速度和占有率，n为数据集记录数，M_j表示交通流运行数据聚类后的交通运行状态；

3)在交通运行状态聚类分析完成后，在Spark大数据机器学习平台上采用随机森林算法对最终的聚类结果T进行训练，利用训练完成的模型建立交通运行状态判别规则，实现路网交通运行状态判别。

2.根据权利要求1所述的一种基于Spark的路网交通运行分析方法，其特征在于，步骤1)中，Spark大数据机器学习平台包括从上向下依次为数据应用层1、数据处理层2以及数据存储层3；其中数据存储层3选用分布式文件系统，用于底层数据存储管理，Spark直接读取HDFS上的数据进行计算并把结果再写回HDFS；数据处理层2利用Spark内建的独立调度器模式实现底层资源调度，同时，RDD进行数据处理任务的并行执行；数据应用层1，由Spark的多种大数据处理场景生态应用组件组成，其中包括SparkR、Spark SQL和Spark MLlib。

3.根据权利要求1所述的一种基于Spark的路网交通运行分析方法，其特征在于，步骤2)中，交通流运行数据聚类后的交通运行状态为畅通、基本畅通、轻度拥堵、中度拥堵和严重拥堵五种交通运行状态。

4.根据权利要求3所述的一种基于Spark的路网交通运行分析方法，其特征在于，采用聚类算法将道路拥堵程度划分为畅通、基本畅通、轻度拥堵、中度拥堵和严重拥堵五种状态。