[发明专利]综合监控系统中历史数据存储控制方法

说明书

技术领域

本发明面向地铁/轻轨综合监控系统的数据采集和存储需求，提供适应于多专业系统、大数据量处理以及多种不同数据筛选需求的历史数据存储控制机制；采用可嵌入系统平台式设计、可嵌入一体化监控平台的通用运行模式。对于类SCADA领域的应用，如电力监控、水利监控、油气化工、煤炭矿井等需要实施实时数据采集和环境设备监视控制业务的工控行业，也有应用空间。

背景技术

地铁/轻轨综合监控系统(ISCS Integrated Supervisory Control System )采用一体化软硬件平台和专用通信网络采集诸如供电系统、环境与设备监控系统、火灾报警系统、门禁系统、广播系统、闭路电视系统、行车监视系统、售检票系统等多个专业的实时数据和环境参数，远程监视控制各专业系统及设备的运行，同时将这些数据按各专业的不同存储需求保存到以商用关系数据库为主要管理平台的历史数据库中，便于数据检索、运行回放、统计报表、性能分析以及节能策略参考等多种应用。

历史数据存储类型主要涉及数字量、模拟量、时间量，少数应用还可能包括字符数据。由于覆盖的专业多而杂，总数据容量动辄几十万点，且数据点特别是各类模拟量点变化频繁，因此累积产生的历史数据量相当庞大，这些数据不可能也没必要全部存储到商用数据库和大容量存储介质上。同时，对每个数据点都会因其子专业特点和采集过程而有存储需求上的差异。因此，有效的、灵活可定制的历史数据存储过滤控制机制是优化存储方案、满足存储需求差异、提高外部应用程序效率、降低存储维护压力和成本的关键环节。历史数据存储流程参见图1。

历史数据存储控制主要包括两个方面：

存储粒度：以数据点每次存储的时间间隔计算，间隔越大，粒度越小；如模拟量可设定保存间隔为分钟级或秒级，数字量可能需要全部存储，则保存间隔即为0；存储粒度可以分为静态和动态两种，即为用户既定配置方式和系统自决存储方式。

存储算法：数据点每次存储的最终数值的计算，可以是存储间隔内的最大值、最小值、平均值、加权和等等。

目前主流的综合监控系统平台对历史数据存储的处理方式一般如下：

1. 由存储服务模块负责数据读取、筛选、入库，数据源可以是实时数据库或者缓冲文件；数据最终保存地一般为主流的商用数据库解决方案，如Oracle、Sybase、MySQL等。该处理模块与系统平台在数据总线、数据处理逻辑、内部编码方式、关系数据库高度耦合，是系统平台中的一部分。

2.存储粒度上，通过可在线修改或运行时固定的方式给每个数据点赋以确定的存储间隔，一般精确到分钟或秒，历史数据存储服务按此固定配置执行数据过滤和存储入库过程。

3.存储算法上，在存储服务模块中实现用户可能需要的计算，如有新的算法需求，则需要进行二次开发。

现有技术的缺点是：1. 数据点的存储粒度设置单一，主要为静态方式，只能按既定时间间隔存储，缺乏对数值变化剧烈时的自决存储实现；有些仅存储时间间隔到达时刻点的实时值，降低了历史数据的利用价值；2. 存储算法相对简单，算法相对固定，一般在代码编写时确定，在应付某些非常规应用和算法时需要对既有模块或平台做更改、重新调试，不易扩展；3. 存储服务模块与系统平台耦合度高。

发明内容

本方案设计从综合监控系统多专业的现有需求和技术基础出发，设计实现新的存储控制方法，包括：灵活可定制的、可在线更改的存储粒度设置，支持动态的自决存储行为；通过算法池方案提供丰富的数值计算功能和方法调用，且允许按既定接口形式对算法进行扩展；采用可嵌入系统平台的运行方式，通过统一的数据流接口实现功能模块的独立运行，所有的数据筛选存储功能都能在此模块中实现或后续扩充；以此覆盖和实现不同子专业、不同类型数据、不同存储需求的数据保存方案。

本发明技术方案为：一种地铁综合监控系统中历史数据存储控制方法，包括以下几个部分：

A 控制器结构。

新的存储控制器主要包括数据点索引、数据点矩阵、存储控制信息体结构、算法池以及元数据集五个部分组成；与外部程序的数据接口主要包括作为入口的实时生数据及用于与外部控制命令交互的数据缓冲区、作为出口的待写进存储介质的熟数据缓冲区。

模块结构及关系如图2所示。

a数据点索引：每个数据点都有全局唯一的数据标识ID，数据点索引采用哈希表完成数据点ID到数据实体的映射，实现缓冲区数据进入存储过滤处理前在数据点矩阵内的快速定位。