[发明专利]基于分布式列式存储的云数据中心系统历史数据管理方法在审
| 申请号: | 202011562871.4 | 申请日: | 2020-12-25 |
| 公开(公告)号: | CN112925845A | 公开(公告)日: | 2021-06-08 |
| 发明(设计)人: | 欧阳宇宏;吴晗;康文倩;史浩秋;车向北;吴涛;邓彬;郑晓露;王玉军;胡亚荣;王汉潮;李雨森;赵虎;崔伟业;张瑞 | 申请(专利权)人: | 深圳供电局有限公司;国电南瑞南京控制系统有限公司 |
| 主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/2458 |
| 代理公司: | 南京纵横知识产权代理有限公司 32224 | 代理人: | 董建林 |
| 地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 分布式 存储 数据中心 系统 历史 数据管理 方法 | ||
1.基于分布式列式存储的云数据中心系统历史数据管理方法,其特征在于,所述云数据中心系统包括:历史数据抽取服务模块、HBase主动采样服务模块、分布式列式存储数据库HBase、HBase采样查询服务模块、上层应用模块,所述历史数据抽取服务模块、所述HBase主动采样服务模块、所述HBase采样查询服务模块分别与所述分布式列式存储数据库HBase通讯连接,HBase采样查询服务模块与所述上层应用模块通讯连接,所述管理方法包括如下步骤:
历史数据抽取服务模块从模型库中获取订阅的量测信息;根据所述量测信息来源通过服务总线向所述量测信息来源所在区域调度的历史数据服务请求指定历史数据,所述历史数据抽取服务模块获得数据后直接提交给分布式列式存储数据库HBase;HBase主动采样服务模块负责模型中心私有模型的数据采集,HBase主动采样服务模块提交数据到分布式列式存储数据库HBase;HBase采样查询服务模块为所述上层应用模块提供历史数据查询服务。
2.根据权利要求1所述的基于分布式列式存储的云数据中心系统历史数据管理方法,其特征在于,所述量测信息包括遥测历史数据订阅表,所述遥测历史数据订阅表描述数据中心采样数据的规模,以及为各个量测信息描述直采区域。
3.根据权利要求1所述的基于分布式列式存储的云数据中心系统历史数据管理方法,其特征在于,所述云数据中心系统维护遥测历史数据订阅表,标识测点的来源,具体包括:从哪个地调抽取该测点的历史数据,而不是分配存储的位置;如果该测点来源为数据中心,则表示数据由本地的历史采样服务进行采集;如果该测点来源为非数据中心,则从所定义的区域抽取历史数据。
4.根据权利要求1所述的基于分布式列式存储的云数据中心系统历史数据管理方法,其特征在于,所述HBase主动采样服务模块包括主动采样定义模块、被动采样定义模块;所述主动采样定义模块用于确定数据源;所述被动采样定义模块用于确定采样周期,所述HBase主动采样服务模块的数据源默认为“云数据中心系统”;所述HBase主动采样服务模块默认按照数据源、厂站、表的策略显示已定义量测点。
5.根据权利要求1所述的基于分布式列式存储的云数据中心系统历史数据管理方法,其特征在于,所述管理方法包括:直接采样区域为云数据中心系统,则由HBase主动采样服务模块执行;如果直接采样区域为非云数据中心系统,则由历史数据抽取服务模块执行。
6.根据权利要求1所述的基于分布式列式存储的云数据中心系统历史数据管理方法,其特征在于,所述管理方法包括:非云数据中心系统采样的测点按照数据类型的不同分为计算点和非计算点两种处理方式,对应的抽取周期分别为延时5分钟和延时10分钟;对于计算点由于历史数据重算服务延时5分钟重新计算结果值后回写采样库,使用延时10分钟抽取周期策略,而非计算值表使用延时5分钟抽取周期策略。
7.根据权利要求1所述的基于分布式列式存储的云数据中心系统历史数据管理方法,其特征在于,所述管理方法包括:历史数据抽取服务模块根据遥测历史数据订阅表从各个地调按1小时间隔查询“采样修改告警表”,对于该扫描周期内存在采样修改的,重新从数据源按时间点抽取采样数据,然后保存到分布式列式存储数据库HBase中。
8.根据权利要求1所述的基于分布式列式存储的云数据中心系统历史数据管理方法,其特征在于,所述管理方法包括:所述HBase主动采样服务模块通过遥测历史数据订阅表过滤出需要本地采集的测点集合,按定义的时间周期从分布式列式存储数据库HBase中获取数据;数据采集成功后,存入采样队列中,采样队列中采样点结构为“时间--值--质量码”。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳供电局有限公司;国电南瑞南京控制系统有限公司,未经深圳供电局有限公司;国电南瑞南京控制系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011562871.4/1.html,转载请声明来源钻瓜专利网。





