[发明专利]一种基于HBase的智能电网时标量测数据存储方法在审
申请号: | 201611265634.5 | 申请日: | 2016-12-30 |
公开(公告)号: | CN106844556A | 公开(公告)日: | 2017-06-13 |
发明(设计)人: | 王远;谢玉波;唐胜;包建国;曹健;陈辛明;程飞飞;何世春;孔炜;李强;秦鹏飞;陶霞;王乐之;王为明;韦程;张操政;张巍 | 申请(专利权)人: | 江苏瑞中数据股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 南京知识律师事务所32207 | 代理人: | 刘丰 |
地址: | 210012 江苏省南京市雨*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 hbase 智能 电网 标量 数据 存储 方法 | ||
1.一种基于HBase的智能电网时标量测数据存储方法,其特征在于:包括以下步骤:
S1根据量测点的时标和业务模型建立时标量测数据存储模型;
S2采用WAL技术完成对数据记录的加载从而实现将请求加载的数据全部加载到存储模型中;
S3根据量测点规模和数据产生频率,建立数据分区机制,当存储模型中数据量达到分区条件时,实现动态预分区。
2.根据权利要求1所述的基于HBase的智能电网时标量测数据存储方法,其特征在于:所述步骤S1包括以下步骤:基于分布式列式数据库HBase存储结构,设计行键结构为<CC+DT+YMDHMS+MT>,其中CC为地市编码,DT为变电站编码,YMDHMS为年月日时分秒,MT为量测类型;设计列键结构为<MID>,其中MID为设备编码。
3.根据权利要求1所述的基于HBase的智能电网时标量测数据存储方法,其特征在于:所述步骤S2包括以下步骤:
首先完成数据记录的加载过程,将请求加载的数据记录顺序写入一个日志文件中;
然后再将请求加载的数据加载至存储模型进行存储操作;
当在数据加载过程中,出现断电、崩溃和其他异常时,通过重新扫描所述日志文件实现将内存中未成功写入数据存储模型的数据进行重新加载。
4.根据权利要求1所述的基于HBase的智能电网时标量测数据存储方法,其特征在于:所述步骤S3包括以下步骤:
首先对数据存储模型基于分布式列式数据库HBase存储结构中行键按照字典顺序进行排序;
在数据加载过程中,数据按照行键顺序加载至存储模型中;
当存储模型中数据量达到分区条件时,该分区条件是指配置指定单区最大存储容量,根据行键分布进行分区操作,同时支持通过指定分区的起止行键实现动态预分区。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏瑞中数据股份有限公司,未经江苏瑞中数据股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611265634.5/1.html,转载请声明来源钻瓜专利网。