[发明专利]一种海量用电信息采集数据的管理方法及其系统

说明书

技术领域

本发明涉及一种用电信息采集数据管理系统，具体讲涉及一种海量用电信息采集数据的管理方法及其系统。

背景技术

用电信息采集系统是测量、收集、储存、分析和运用用户用电信息的完整的网络和系统。是电力公司用于电能计费、网损分析、负荷预测及电网故障诊断等业务的基础。

随着全社会用电规模的不断扩大，用电信息采集系统管理的数据量也在飞速增长。例如一个省级电力公司的用电信息采集系统管理的智能电能表数量往往要超过1000万只。按每只电能表每天15分钟间隔产生的电量数据来计算，每天仅电能表电量抄表数据就有10亿多条，这其中还不包含像电压、电流等其他负荷数据。现有的用电信息采集系统用关系型数据库保存数据。面对如此庞大的数据，关系型数据库在数据的快速存储、抽取、计算和分析等各个方面都无法满足性能要求，极大的限制了对采集数据的分析和应用。

发明内容

针对现有技术的不足，本发明提成一种海量用电信息采集数据的管理方法及系统，支持更大范围更高密度的用电信息采集数据的存储和使用，增强数据存储访问速度，挖掘其潜在价值，为配用电网络优化、重构、优质运行和资产管理等高级应用提供强有力的支撑。本发明具体将用电信息采集数据按其数据类型分别存入分布式文件系统和关系型数据库，以避免存储瓶颈，提高查询和分析效率，充分支持高级量测体系的各项应用。

本发明的目的是采用下述技术方案实现的：

一种海量用电信息采集数据的管理方法，其改进之处在于，所述方法包括数据存储方法和数据提取方法，通过数据库或分布式存储调度模块为不同的数据指定不同的存储目标，按照策略进行数据的存储和提取。

优选的，所述数据存储方法包括

(2.1)应用服务器接收数据；

(2.2)根据数据分类表的规则、分析待处理的数据类型，将时序数据发送至分布式存储调度模块存储，业务和管理数据交由数据库存储；

(2.3)分布式存储调度模块根据存储策略，指定相关存储服务子节点执行相应的数据存储任务；

(2.4)存储服务子节点执行存储任务，存储数据。

优选的，所述数据提取方法包括

(3.1)根据数据请求，应用服务器判断该请求所包含的数据类型；

(3.2)根据该数据请求所涉及到的数据类型向分布式存储调度模块发出指令，获取时序数据及其汇总统计结果，向数据库发出指令获取相应的管理数据；

(3.3)分布式存储调度模块指定相应的分布式存储子节点执行数据获取以及汇总统计任务；

(3.4)存储服务子节点在本地执行数据抽取和汇总统计任务；

(3.5)分布式存储调度模块汇总各存储服务子节点的执行结果；

(3.6)服务器整合分布式存储调度模块和数据库的结果，形成数据返回给数据请求者。

优选的，所述方法包括扩容方法

(4.1)在分布式存储调度模块中添加新的服务器；

(4.2)对新添加的服务器注册；

(4.3)分布式存储调度模块将该新添加的服务器纳入管理。

进一步地，所述策略为按照特性分为时序数据和管理数据的用电信息采集数据，由智能电能表装置按一定频率和周期产生的量测数据的时序数据；所述管理数据是指配置信息以及各种与业务相关的信息。

本发明基于另一目的提供的一种海量用电信息采集数据的管理系统，其改进之处在于，所述系统包括应用服务器、分布式存储调度模块、存储服务子模块和数据库；

所述应用服务器分别与分布式存储调度模块和数据量服务器连接；

所述分布式存储调度模块与存储服务子模块连接。

优选的，所述分布式存储调度模块执行数据统计和抽取任务，负责向相关存储服务子模块发布本地统计和抽取任务，并对各存储服务子模块的统计和抽取结果进行汇总。

优选的，所述存储服务子节点在本地保存数据或者执行统计和抽取任务并将结果反馈至分布式存储调度模块。

优选的，所述数据库包括数据库服务器以及备份数据库服务器，其用于存储和提取档案数据。

与现有技术比，本发明的有益效果为：

本发明满足了对海量用电采集数据的快速存储和处理的需求，并能以较低成本实现系统的高扩展性，在系统扩容等方面提供了极大的便利。

本发明解决了用电信息采集系统中，单独使用关系型数据库处理大规模量测数据导致的高昂费用和性能瓶颈，以及单独使用分布式文件系统处理大规模数据产生的实时性差的问题。

附图说明