[发明专利]一种基于HBase的分布式时序数据库

说明书

本发明提供了一种基于HBase的分布式时序数据库，存储结构为三元组：TagID，Timestamp，TagVTQ；分布式时序数据库中的分布式文件数据库HBase的行键由TagID和BaseTime组成，BaseTime＝Timestamp/TimeSpan，TimeSpan为分布式时序数据库的行时间跨度，HBase的列族中每个HBase单元格保存至少一个TagVTQ。本发明可有效的解决传统的实时数据库在应对工业大数据在可靠性、扩展性、检索和其上的计算支撑能力的不足，有效地提升企业的智能化和信息化水平。

技术领域

本发明涉及数据库技术领域，具体地，涉及一种基于HBase的分布式时序数据库。

背景技术

随着工业大数据时代的来临，工业设备的智能化程度不断提升，工业企业跨区域、跨企业的数据互联，产区、企业之间的联动，能极大的共享信息和资源、提升企业生产效率、节约企业成本。这一变革导致物联网设备和传感器数量急剧增长，随之而来的也带来了数据的快速爆发式增长，时序数据库己逐渐替代传统的实时数据库，成为工业大数据存储的首选，成为支撑制造、交通、能源、智慧城市等领域的核心产品。新兴的时序数据库技术兴起，出现了多个开源或商业时序数据库产品，如：OpenTSDB、InfluxDB、Graphite、Gorilla等。对比这些时序数据库产品，发现这些产品有如下局限性：

1、为节省数据存储空间，为metric,tag key,tag value都设计了映射表，数据存储结构不是自描述的，数据写入、读取都需依赖映射表对数据进行映射和解析，增加了查询和写入的复杂度，影响了数据的查询和写入性能,如OpenTSDB。

2、部分时序数据库支持的数据类型不全面，仅支持简单数据类型，不支持String，Blob数据类型,如OpenTSDB。

3、部分时序数据库做聚合查询时，是根据查询条件把所有符合条件的数据都查到内存再聚合，导致大时间范围查询，易出现内存不足，性能下降的情况，如OpenTSDB。

4、部分时序数据库为追求性能，内核完全in-memory，设计为内存时序数据库，只解决26H内近期数据的读写，如Gorilla。

5、部分时序数据库压缩率不足，且可能导致数据精度下降，如OpenTSDB、InfluxDB。

6、部分时序数据库不支持数据时序抖动，如Graphite。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于HBase的分布式时序数据库。

根据本发明提供的一种基于HBase的分布式时序数据库，所述分布式时序数据库的存储结构为三元组：TagID，Timestamp，TagVTQ；

其中TagID代表存储数据的点的ID，一个点保存一个物理设备/传感器的一属性项，TimeStamp为所述物理设备/传感器生成的记录产生的时间，TagVTQ为所述物理设备/传感器的三元组：Value，Type，Quality，其中Value为具体的值，Type为数据类型，Quality为数据质量；

所述分布式时序数据库中的分布式文件数据库HBase的行键由TagID和BaseTime组成，BaseTime＝Timestamp/TimeSpan，TimeSpan为分布式时序数据库的行时间跨度，HBase的列族中每个单元格保存至少一个TagVTQ。

优选的，所述基于HBase的分布式时序数据库分为：

数据采集层：通过数据采集网关或直接访问SDK接口，提交数据存储或查询请求；

数据接入层：采用分布式消息系统Kafka接收所述数据采集层提交的数据并持久化；

数据处理层：包括分布式实时数据缓存服务、分布式历史数据归档服务、发布/订阅管理服务和数据聚合服务；