[发明专利]一种面向高速列车实时监控的海量数据管理方法

说明书

本发明提出了一种面向高速列车实时监控的海量数据管理方法。该方法以分布式文件系统和关系数据库构成二级存储架构，其上层基于关系数据库建立面向里程触发的窗口数据管理机制，实现监控数据的组织；利用底层分布式文件系统实现海量数据的平衡存储管理。在这一基础上，结合对象动态耦合的存储模型实现数据的有序组织；同时，利用全局‑局部属性传递管理的方式，针对列车建立里程累积触发，满足列车监控、分析的需求。本发明针对高速列车实时监控，提供了大数据背景下海量、跨专业数据管理的核心技术，在交通、物流、智慧城市等领域具有积极的应用价值。

技术领域

本发明属于海量异构感知数据高性能存储管理研究与应用领域，具体涉及一种面向高速列车实时监控与综合分析的海量数据管理方法。针对高速列车实时监控采集数据以及其领域特点，本发明基于松耦合的信息组织模型，以分布式文件系统以及关系数据库构成两层结合的存储结构。通过关系数据库建立面向里程触发的窗口缓存；同时，利用分布式文件数据库，基于key-value的模式实现海量、异构数据的高性能存储与组织，并利用属性传递实现动态耦合下对象基于累计里程的数据窗口管理。通过本发明提出的数据管理技术可以有效实现海量、异构实时数据的存储管理以及基于KV-RDB高性能查询。这一方法在大型复杂装备监控、交通、物流、智慧城市以及环境保护等方面同样具有积极的应用价值。

背景技术

近年来，随着铁路建设的推进，高速列车逐渐在我国国民经济发展中发挥着越来越重要作用。以CRH380III型车为例，其是一个由多专业构成的复杂系统，组成部分涵盖机械、电气电路、控制网络、信号等。在日常运营中，高速列车根据调度，在特定线路上承担高速客运的任务。因此，安全性成为高速列车建设与发展的重点之一。围绕列车，在运营过程中实时采集各种子系统的状态数据，针对这些增量数据开展高性能存储管理成为高铁运营保障的重要需求。在这一基础上可以为实时监控、列车健康分析评估、故障数据挖掘等工作提供数据资源以及分析决策的依据。

高速列车是一个由多种子系统构成并高速运行的复杂系统。在日常运营中，列车通常根据调度安排在固定的线路行驶。这一线路跨越较大区域范围。列车在行驶过程中其负载情况变化较为复杂，受到外部天气环境、铁路沉降以及轨道状态、地形地貌、周边电磁信号以及承载乘客数量等多种因素的影响。因此，为实现对列车整体、实时、全面的监控通常需要针对不同子系统的特点布设大量传感器，采集不同专业的设备状态数据。由于列车行驶高速性，通常这些传感器采用相对较高的频率采集数据。另一方面，由于列车行驶的空间范围较为广阔，不同地区线路状态、气象条件、电磁环境差异较大。同时，也是导致累积性健康劳损的主要原因之一。因此地域位置就构成列车监控数据组织与管理的主要属性之一。在这一基础上，针对列车开展各种分析挖掘活动。

如上所述，与其他复杂系统的监控相比，高速列车监控数据具有以下特点：

1.数据海量性与时序性：列车是一个综合整体，针对其中不同子系统\设备布设大量传感器，由于列车高速性，这些传感器需要以相对较高频率采集数据。因此，在增量过程中形成较大规模的数据集。以转向架振动传感器为例，其单点数据日增量达到10M以上，整列日增量达到500M；全网整体增量达到5GB；同时，这些数据具有明确的时序性。在数据组织过程中，需要根据时序先后顺序组织，同时也为各种分析处理活动的查询业务提供组织基础；

2.列车数据管理空间与里程相关性：如前所述，列车沿着固定路线行驶；所覆盖空间范围较为广阔。一方面，列车行驶路线的不同分段的外部环境对于列车健康以及故障发展具有不同的程度的影响；这一情况导致列车空间位置属性对于列车的采集数据的查询具有重要意义。因此，在列车数据组织过程中，需要将列车空间属性与采样数据之间建立关联关系；另一方面，根据管理规定，列车在行驶固定里程数后开展各种检修、分析工作，判断列车的健康状态，排除各种故障与潜在风险；因此列车数据管理活动中，需要在空间属性累积增量的基础上，依据里程对列车各种采集数据完整提取，开展综合分析；