[发明专利]一种轨道交通流数据处理方法

说明书

本发明公开了一种轨道交通流数据处理方法，该方法基于Kafka的消息分发并且设计Storm拓扑结构，通过Kafka汇总轨道交通客流及设备等监测数据形成数据源，并将数据源发送给Storm进行实时处理；Storm拓扑结构由数据源组件KafkaSpout和三个逻辑处理单元PreBolt、RunBolt以及PostBolt组成；通过ZooKeeper提供的Watcher接口则用于对Storm进行监听，通过监听来了解轨道交通信息等变化，然后控制Kafka集群做出相应的指令处理；本发明数据在程序的传递过程均采用随机分组的方式，分布式处理的过程使得数据处理的延时大大降低。

技术领域

本发明涉及轨道交通领域，尤其涉及一种轨道交通流数据处理方法。

背景技术

本发明使用云平台计算技术来对轨道交通获取到流数据进行处理，来加快对庞大数据的处理，节省处理时间，能更有效的根据数据及时做出反应。云计算只需要很少的管理工作，如与服务器之间的交互，就能够实现从可配置的计算资源共享池中，便捷地通过关联网络获取需要的资源，提供的速度十分迅速，并且在使用完毕后也能够迅速的释放资源。本发明加快了轨道交通中不间断的庞大流数据的处理，将处理后的有效数据传递到下一步根据平台预先设置的决策方法来快速的生成对应指令，使得轨道交通中的各项指令步骤能够实时给出，快速完成。此技术是基于主要用于实时处理计算大规模不间断数据流的Storm架构，借助ZooKeeper来协调整个集群，主节点(控制节点)运行Nimbus，负责发布拓扑程序和任务，并对集群状态进行监控；从节点(工作节点)，运行Supervisor，负责接收任务并执行。其中有一个拓扑数据入口Spout，将外部传输的数据流转换为元组发送给处理加工的逻辑单元Bolt，一个Bolt完成处理后可以继续传递给后续的Bolt，处理完成后即可得到所需的数据。数据入口Spout和逻辑单元Bolt间采用流分组策略进行链接，它们均能配置成多个实例以达到并行处理的目的，而这些实例最终也就是所需执行的任务，将会在工作节点中被调度执行，最终形成机器所需执行的命令。

目前轨道交通流数据进行处理的技术主要存在以下缺点：

1、现有技术虽然实时计算延迟度较低，但仍为秒级的延迟而非毫秒级；

2、现有技术是准实时的，是将一个时间段内的数据收集起来作为一个RDD(弹性分布式数据集)，然后进行处理，而非来一条数据处理一条数据这样纯实时处理。

3、现有技术的健壮性一般，没有特别大的容错能力。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于云计算的轨道交通流数据处理方法，将数据处理的延时进一步降低达到毫秒级别的处理延迟，并且数据的处理过程是纯实时的，急来一条数据处理一条数据，增强数据处理过程中的容错能力，提高平台运行的健壮性。

本发明的目的是通过以下技术方案来实现的：一种轨道交通流数据处理方法，该方法包括以下步骤：

(1)基于Kafka的消息分发，Kafka用于发布与订阅消息，包括控制节点和工作节点，即控制节点运行Nimbus，负责发布拓扑结构和任务，工作节点运行Supervisor，负责接收任务并执行；通过Kafka汇总轨道交通客流及设备等监测数据形成数据源，并将数据源发送给Storm进行实时处理；

(2)Storm拓扑结构的设计，所述Storm拓扑结构由数据源组件KafkaSpout和三个逻辑处理单元PreBolt、RunBolt以及PostBolt组成；