[发明专利]一种基于Spark SQL的OpenTsdb时序数据查询方法

说明书

本发明公开一种基于Spark SQL的OpenTsdb时序数据查询方法，涉及时序序列数据技术领域，其实现内容包括：(1)通过Spark SQL内置的DataFrame API自定义OpenTsdb数据源，包括：(1.1)定义Spark SQL数据表的元数据，(1.2)访问OpenTsdb底层存储HBase表中的数据，结合定义的schema与“tsdb‑meta”表中的数据，解析tsdb表中的时序数据，(1.3)通过tsdb表，对每个Region分区进行统计分析，为Spark SQL的Catalyst优化器提供算子下推、逻辑计划生成、物理执行计划优化提供数据支撑，提升Spark SQL的执行效率；(2)通过Spark SQL语句查询分析OpenTsdb中存储的时序数据。本发明可以提升OpenTsdb的易用性、兼容性，尤其在大量时序数据库复杂查询分析的场景下，还可以提升查询的响应时间，提升OpenTsdb的查询分析性能。

技术领域

本发明涉及时序序列数据技术领域，具体的说是一种基于Spark SQL的OpenTsdb时序数据查询方法。

背景技术

物联网IoT(Internet of Things)体系分为感知层、传输层、应用层，随着物联网技术的发展，越来越多的物(设备或传感器等)相互连接起来，从而产生了海量的时序数据，在此背景下，诞生了满足海量数据快速存储的专业领域型数据库-时序数据库OpenTsdb。

OpenTsdb是基于Hbase的时序数据库，又称时间序列数据库，不具备通用性，主要针对具有时间特性和需求的数据，如监控数据、温度变化数据等。OpenTsdb说是数据库，但并不能称作为数据库，它是在Hbase(HBase才是具有存储功能的)的基础上，进行数据结构的优化和处理，从而适合存储具有时间特性的数据，同时提供特定的工具进行查询等操作

时间序列数据是指是一段时间内某个特定指标量的一系列数值数据点，OpenTsdb将时序数据通过指标和标签以及时间戳来唯一标识一个指标量，这些指标数据具有不可变性。TSD是OpenTsdb的服务进程，它是基于HBase集群的无状态服务，它通过将指标和标签数据数字化映射的方式、指定时间间隔的相同标签的指标数据聚合的方式以及Snappy、Zlib等数据压缩技术提高数据I/O的效率。

物联网平台中数据快速存储和读取的时序数据库OpenTsdb基于HTTP协议的RESTFUL风格的API查询，但并未对标准SQL语句查询提供支持，在易用性和大量时序数据复杂统计分析性能方面稍显不足。

发明内容

本发明针对物联网平台中数据快速存储和读取的时序数据库OpenTsdb未对标准SQL语句查询提供支持的缺陷，提供一种基于Spark SQL的OpenTsdb时序数据查询方法。

本发明的一种基于Spark SQL的OpenTsdb时序数据查询方法，解决上述技术问题采用的技术方案如下：

一种基于Spark SQL的OpenTsdb时序数据查询方法，其实现内容包括：

(1)通过Spark SQL内置的DataFrame API自定义OpenTsdb数据源，具体包括：

(1.1)定义Spark SQL数据表的元数据，

(1.2)访问OpenTsdb底层存储HBase表中的数据，结合定义的元数据与“tsdb-meta”表中的数据，解析tsdb表中的时序数据，

(1.3)通过tsdb表，对每个Region分区进行统计分析，为Spark SQL的Catalyst优化器提供算子下推、逻辑计划生成、物理执行计划优化提供数据支撑，提升Spark SQL的执行效率；

(2)通过Spark SQL语句查询分析OpenTsdb中存储的时序数据。