[发明专利]一种基于大数据的轨道交通数据分析方法

说明书

本发明公开了一种基于大数据的轨道交通数据分析方法，包括步骤(1)获取轨道交通综合监控系统集成或互联的各个子系统的结构化数据，并对所述数据进行建模，数据与数据模型存储在基于Hbase的Opentsdb时序数据库数据中；(2)采用python语言搭建统一计算框架，所述框架包括日志管理、进程管理、数据管理、模块管理功能；(3)针对轨道交通综合监控系统常用的统计指标，实现统计分析功能模块；(4)针对轨道交通客流信息，进行模型训练，预测客流数据。

技术领域

本发明涉及一种基于大数据的轨道交通数据分析方法,属于轨道交通监控系统领域。

背景技术

随着城市轨道交通建设的加快，轨道交通综合监控系统集成或互联的子系统越来越多，轨道交通综合监控系统扩容之后，监控系统采集的数据量级和复杂度也在快速增长，这不仅提升了监控和运营的复杂度，也对数据分析带来了新的挑战和机遇。在轨道交通领域，建立合理有效的数据模型和计算框架，用于收集、整理、存储、处理和分析这些海量的数据，提供统一的数据存储和分析平台，为地铁系统运营和维护提供各种信息支持，从而提高轨道交通的运营水平，提升科学决策能力，提升效益降低成本，提升信息服务和安全保障能力，日益成为业界关注的重点。

轨道交通综合监控系统线路级别的数据中心在逐步建立，实现线路海量数据的存储，但是基于大数据的应用较少，效率较低，随着接入系统的增多，数据复杂性的逐渐增加，需要更加合理的数据模型和计算框架。本发明就是在对轨道交通的系统时序数据的分析处理基础上得出的方法。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于大数据技术的轨道交通时序数据分析方法，实现海量数据快速灵活的数据分析，进而指导轨道交通的运营。

技术方案：一种基于大数据的轨道交通数据分析方法，所述方法包括以下步骤

步骤1获取轨道交通综合监控系统集成或互联的各个子系统的结构化数据，并对所述数据进行建模，数据与数据模型存储在基于Hbase的Opentsdb时序数据库数据中；

步骤2采用python语言搭建统一计算框架，所述框架包括日志管理、进程管理、数据管理、模块管理功能；

步骤3针对轨道交通综合监控系统常用的统计指标，实现统计分析功能模块；

步骤4针对轨道交通客流信息，进行模型训练，预测客流数据。

所述的数据建模和存储方法，结合大数据平台和轨道交通的数据特点，采用基于Hbase的Opentsdb时序数据库来对数据进行存储，数据模型如下：

(1)Metric：即监控项；

(2)Tags：就是设备的维度，在OpenTSDB里，Tags由tagk和tagv组成，tagk＝takv；标签用于描述Metric，；

(3)Value：一个Value表示一个Metric的实际数值；

(4)Timestamp：时间戳。

所述统一计算框架，采用python语言来搭建统一计算框架，该框架包括日志管理、进程管理、数据管理、模块管理功能；

在计算框架内，各个模块实现各自的逻辑分析，模块与模块之间单独执行，模块的输入与输出由框架统一管理或自行管理。

所述统计分析，针对轨道交通综合监控系统常用的统计指标，实现统计分析功能模块；包括：对模拟量的最大值、最小值和平均值的统计分析。

步骤4所述，针对轨道交通客流信息，进行模型训练，用于预测客流数据；具体为选用神经网络或向量机算法对客流历史数据进行模型训练，利用训练模型预测30分钟和1小时客流。