[发明专利]基于分布式组件的电力时序数据库

说明书

本发明公开了一种基于分布式组件的电力时序数据库，包括消息中间件，实时数据存储模块，历史数据存储模块，分布式运算组件，分布式协调模块和安全管理模块；其中，消息中间件基于Kafka对客户端的读写请求进行缓存和分发；分布式运算组件对读写请求进行实时响应，根据请求内容进行相应的Redis或者Hbase的读写操作，然后将操作结果通过Kafka反馈给客户端；分布式协调模块用于对分布在各台服务器中的组件进行统一管理；安全管理模块用于对主机层、组件层、网络层和接口API层进行安全认证。本发明能有效应对工业互联网时代数据爆发式增长带来的存储和检索问题，可以为电力企业海量的时序数据存储提供快速的读写服务。

技术领域

本发明涉及一种基于分布式组件的电力时序数据库，属于电力系统数据处理技术领域。

背景技术

在电力、化工等工业生产领域，现场设备运行过程中产生了海量时序数据。随着生产设备的数字化和智能化以及物联网技术的发展，工业现场需要采集的生产实时数据量不断增大。尤其在当今工业互联网发展的时代，信息量呈现爆发式增长趋势。目前生产中有些系统因为数据量太大，采用定期删除旧数据的方式。这无疑是数据资源的极大浪费，因为这些时序数据是应用系统进行数据挖掘、分析计算的重要数据基础。

目前电力企业实时数据存储主要是采用基于集中式单台服务器的部署方式。在单台数据库服务器上完成实时数据的接收、压缩存储、告诉检索等操作。然而，单台数据库的容量、处理能力十分有限，难以处理更大规模的实时数据；数据库系统无法进行动态扩展，难以适应快速的需求增长。部分的实时数据库产品支持分布式构架，但是这种相对固定的分布式架构中，数据采集器和数据服务器之间仍是固定的对应关系，服务器节点之间的数据处理工作仍然各自独立。这种架构符合流程工业地域分布的特点，弥补了系统处理能力的不足。然而这种构架依赖于工程设计节点的系统架构，规模无法灵活调整，无法弥补区域服务器处理能力不足而进行数据迁移的缺陷。因此现有的集中式的数据库难以满足当前行业对点数规模、数据分布、可靠性、扩展性、系统成本的需求，较大影响了企业信息化水平和经济效益。

随着大数据技术的广泛应用，尤其在互联网行业的成功应用，国内外不少学者和公司在研究基于大数据和分布式的实时数据存储系统。国外的研究产品有OpenTSDB，是基于Hbase的分布式的，可伸缩的时间序列数据库，主要用作监控系统，譬如收集大规模集群(包括网络设备、操作系统、应用程序)的监控数据并进行存储，查询。在流程工业的生产实时系统中还未有应用先例。国内的基于分布式存储的研究和方案也有，如浙江大学做了基于云计算的数据存储和检索研究等。目前，国内做基于分布式的实时数据存储的厂家多在探索，影响较大的成熟的产品还没有，多是结合自己的应用场景设计。将实时数据和其他结构化数据一起存储在HDFS上，上层利用Hadoop进行查询操作。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于分布式组件的电力时序数据库，将分布式技术和流式计算框架应用到电力实时数据存储中来，有效应对工业互联网时代数据爆发式增长带来的存储和检索问题。

为解决上述技术问题，本发明提供一种基于分布式组件的电力时序数据库，包括消息中间件，实时数据存储模块，历史数据存储模块，分布式运算组件，分布式协调模块和安全管理模块；

所述消息中间件，实时数据存储模块，历史数据存储模块和分布式运算组件分布式部署在各台服务器中；

所述时序数据库通过对外提供接口的方式提供数据服务，对外数据接口包括：实时数据读操作、热数据写操作、历史数据读操作、历史数据写操作、和逻辑检索接口；对外系统包括电力行业DCS系统、ECS系统和网控系统；

所述消息中间件用于对客户端的读写请求进行缓存；

所述分布式运算组件用于对客户端的读写请求进行实时响应，请求类型包含实时数据和历史数据的读写；