[发明专利]一种轨道交通行车指挥系统及行车数据处理方法

权利要求书

1.一种轨道交通行车指挥系统，其特征在于，包括：

数据源模块，用于提供各个线路的行车数据；所述行车数据包括环境和机电设备监控系统数据、数据采集与监视控制系统数据、火灾报警系统数据和自动售检票系统数据；

数据采集模块，用于采集所述行车数据；

MPP分布式数据仓库模块，用于对所述行车数据进行存储生成存储后的行车数据；

Hadoop数据平台，用于对所述存储后的行车数据进行处理得到处理后的行车数据；

具体的，行车数据处理方法包括：

1)获取各个线路的行车数据；

2)利用HDFS作为其文件存储系统，将获取的各个线路的行车数据进行存储，存储于Hbase数据库中；

3)通过ZooKeeper实现对整个Hadoop数据平台同步服务；具体的，首先进行leader选举，将选举成功的znode信息写入leader，其他竞选者向该znode注册watcher，然后进行同步数据；

4)通过YARN、Map Reduce Batch模型、Spark计算模型进行对数据的统计与处理，实现对行车数据的存储和处理；其具体的步骤如下：

1、准备好待处理的行车数据；

2、在客户端submit()前，获取待处理行车数据的信息，然后根据参数配置形成一个任务分配的规划；

3、客户端向Yarn集群提出请求创建Mrappmaster并提交切片信息；

4、Yarn调用ResourceManager来创建Mrappmaster，而Mrappmaster则会根据切片的个数来创建几个Map Task；

5、MapTask读取步骤1)获取的各个线路的行车数据；

行车数据默认是TextInputFormat格式，每读取一行之后返回给Mapper；

6、在Mapper中调用map()方法来对每一行的行车数据进行业务上的逻辑运算处理；

7、在map()函数中，当数据处理完成后，调用OutputCollector.collect()输出结果；

8、进入到环形缓冲区之后在溢写之前会对数据进行一次排序；

9、排完序之后就溢出到文件，整个过程会多次溢出到多个文件；

10、在所有数据都溢出到文件之后，开始Merge归并排序；

11、之后的Combiner合并为可选流程：分区内合并和压缩，之后，写入到磁盘；至此MapTask的执行过程结束；

12、在所有Map Task任务都完成之后，根据分区的数量来启动相应数量的ReduceTask，并告知ReduceTask处理数据范围；

13、ReduceTask根据自己的分区号，去各个MapTask机器上拷贝相应分区内的数据到本地内存缓冲区，缓冲区不够就溢写到磁盘；待所有数据拷贝完毕之后，ReduceTask会将这些文件再进行归并排序；

14、排好序之后按照相同的key分组；

15、在分组之后一次读取一组数据到Reducer，调用reduce()方法进行聚合处理；

16、之后通过context.write默认以TextOutputFormat格式经RecordWriter下入到文件；

5)利用Sqoop工具将分析得到的数据导入到Hbase中进行存储；

大数据服务平台模块，用于接受所述处理后的行车数据并进行显示。

2.如权利要求1所述的一种轨道交通行车指挥系统，其特征在于，所述数据源模块，包括：

环境和机电设备监控系统，用于提供环境和机电设备监控系统数据；

数据采集与监视控制系统，用于提供数据采集与监视控制系统数据；

火灾报警系统，用于提供火灾报警系统数据；

自动售检票系统，用于提供自动售检票系统数据。

3.如权利要求2所述的一种轨道交通行车指挥系统，其特征在于，所述数据采集模块包括：

环境和机电设备监控系统采集模块，用于采集环境和机电设备监控系统数据；

数据采集与监视控制系统采集模块，用于提供采集数据采集与监视控制系统数据；

火灾报警系统采集模块，用于采集火灾报警系统数据；

自动售检票系统采集模块，用于采集自动售检票系统数据。