[发明专利]基于分布式列式存储的云数据中心系统历史数据管理方法

说明书

本发明公开了基于分布式列式存储的云数据中心系统历史数据管理方法，所述管理方法包括如下步骤：历史数据抽取服务模块从模型库中获取订阅的量测信息；根据所述量测信息来源通过服务总线向所述量测信息来源所在区域调度的历史数据服务请求指定历史数据，所述历史数据抽取服务模块获得数据后直接提交给分布式列式存储数据库HBase；HBase主动采样服务模块负责模型中心私有模型的数据采集，HBase主动采样服务模块提交数据到分布式列式存储数据库HBase；HBase采样查询服务模块为所述上层应用模块提供历史数据查询服务。本发明提供基于分布式列式存储实现高可靠、高性能、面向列、可伸缩的历史数据集中存储，实现历史数据准实时汇聚，实现历史数据透明访问。

技术领域

本发明涉及一种基于分布式列式存储的云数据中心系统历史数据管理方法，属于电力系统自动化电网数据管理技术领域。

背景技术

目前，全国各地调EMS主调建设大部分都采用了D5000系统，针对均采用D5000系统的省调和地调可以建设省地模型中心，完成后各地调及省调与模型中心的联调工作，实现全省模型的模型中心汇集功能。这也为云数据中心系统的建设提供了良好的契机。全省模型中心保证了省调与地调系统相同模型记录的ID一致性，为后续开展省地一体化云数据中心的建设工作，节省大量的时间和人工，为后续云数据中心系统建设打下良好的基础。

云数据中心系统主要完成纵向和横向的EMS模型，图形，数据集成和发布功能。其中，纵向数据集成指的是数据中心能够汇集省调与地调的数据及相关模型、图形与参数，满足数据中心进行状态估计计算的要求，以及后续省地联合应用交互的桥梁和中心集成展示的需求。

历史数据管理是云数据中心系统核心功能之一，历史数据管理通过基于云技术的大数据处理平台实现，为上层应用提供安全、稳定、高效、易扩展的海量历史数据管理手段，实现历史数据的统一存储和高效访问，并提供丰富的历史数据可视化展示方法，为基于历史数据的分析展示应用提供技术支撑，为建设云数据中心系统奠定坚实的基础。

现有技术大多采用关系库存储历史数据，缺乏历史数据的统一存储。

发明内容

本发明的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出基于分布式列式存储的云数据中心系统历史数据管理方法，针对不同地调的海量历史数据，基于分布式列式存储实现高可靠、高性能、面向列、可伸缩的历史数据集中存储，实现历史数据准实时汇聚，实现历史数据透明访问。

本发明具体采用如下技术方案：基于分布式列式存储的云数据中心系统历史数据管理方法，所述云数据中心系统包括：历史数据抽取服务模块、HBase主动采样服务模块、分布式列式存储数据库HBase、HBase采样查询服务模块、上层应用模块，所述历史数据抽取服务模块、所述HBase主动采样服务模块、所述HBase采样查询服务模块分别与所述分布式列式存储数据库HBase通讯连接，HBase采样查询服务模块与所述上层应用模块通讯连接，所述管理方法包括如下步骤：

历史数据抽取服务模块从模型库中获取订阅的量测信息；根据所述量测信息来源通过服务总线向所述量测信息来源所在区域调度的历史数据服务请求指定历史数据，所述历史数据抽取服务模块获得数据后直接提交给分布式列式存储数据库HBase；HBase主动采样服务模块负责模型中心私有模型的数据采集，HBase主动采样服务模块提交数据到分布式列式存储数据库HBase；HBase采样查询服务模块为所述上层应用模块提供历史数据查询服务。

作为一种较佳的实施例，所述量测信息包括遥测历史数据订阅表，所述遥测历史数据订阅表描述数据中心采样数据的规模，以及为各个量测信息描述直采区域。

作为一种较佳的实施例，所述云数据中心系统维护遥测历史数据订阅表，标识测点的来源，具体包括：从哪个地调抽取该测点的历史数据，而不是分配存储的位置；如果该测点来源为数据中心，则表示数据由本地的历史采样服务进行采集；如果该测点来源为非数据中心，则从所定义的区域抽取历史数据。