[发明专利]基于时间度量数据实时查询服务的优化实现方法及系统

说明书

技术领域

本发明涉及基于时间的度量数据查询服务的优化设计，特别适用于大中型网站的实时运营监控、故障预警、快速排障、容量规划、以及性能调优等诸多领域。涉及一种基于时间度量数据实时查询服务的优化实现方法及系统。

背景技术

随着一些大中型互联网企业内部的应用增多，对于实时监控整个网站的服务质量提出了越来越高的要求。为了做到实时掌握整个网站的运行情况，以不断优化系统性能，就需要收集各个应用的不同层面的实时度量数据，并对其进行有效地分析和利用。

为了随时支持高效地排障、调优，就需要保存大量的历史度量数据。随着这些度量数据不断累积，使得系统存储的压力会随之也不断加大。与此同时，对这些度量数据大量的并发查询需求，进一步提高了实现度量数据查询服务的难度。

一般的基于传统数据库的解决方案，既无法支撑基于时间的海量度量数据的存储，也无法支持高并发的查询。这基本需要涉及专门的TSD（time series database，参见http://en.wikipedia.org/wiki/Time_series_database）实现。然而基于大数据的分布式TSD实现，同样也受到Brewer的CAP分布式理论(参见http://www.cs.berkeley.edu/～brewer/cs262b-2004/PODC-keynote.pdf)的制约。著名的TSD开源实现，如opentsdb(参见http://opentsdb.net/)不支持大数据、高吞吐的度量数据查询。

发明内容

本发明的目的在于提供一种基于时间度量数据实时查询服务的优化实现方法及系统，能够支持度量数据的任意水平扩展，同时查询服务能够承受高并发、高吞吐下的实时查询压力。

为解决上述问题，本发明提供一种基于时间度量数据实时查询服务的优化实现方法，包括对查询数据库作如下操作：

存储不同的度量，每个度量包括多个度量数据点，每个度量数据点包括度量值和标签集合，所述标签集合中的每个标签由一个key/value对组成，不同的度量中的度量数据点有不同的key的集合，但同一度量中的度量数据点的key的集合是相同的，将属于同一度量，且将含有相同key/value对的组合的数据点归为一个基础时间度量序列并记录在元数据表中。

进一步的，在上述方法中，还包括对查询数据库如下操作：

利用不同的命名空间对不同的度量进行分片，即将同一类的度量归为同一个命名空间，一个度量只能属于一个命名空间，每个命名空间包含多个度量，将同一个命名空间的所有度量保存在同一张Hbase表中，同一个命名空间中的所有度量数据的生命周期相同。

进一步的，在上述方法中，还包括对查询数据库作如下操作：

当发现某类查询的查询时间跨度长、查询开销超过阈值，且查询的频率达到一预设定频率，则定期启动的map/reduce批处理任务对该类查询的相关度量进行周期性的计算获取降采样数据，并预先将降采样数据插入到HBase表中。

进一步的，在上述方法中，还包括对查询服务器作如下操作：

采用多台查询服务器同时对外提供度量的查询服务，每台查询服务器定期以一定时间间隔同步元数据表，并将其缓存在各自内存中，当任何一台查询服务器的度量元数据发生变化时，首先会和其缓存中的元数据表进行比对和更新，若如果比对成功，则更新成功；否则，更新也就失败，则该查询服务器进行冲突解决，并决定是否需要再次提交更新；

每台查询服务器对度量元数据的更新提交成功后，就更新其内存缓存。

进一步的，在上述方法中，还包括对查询服务器作如下操作：

采用基于时间分段的缓存策略，通过后台的批处理线程定期将零散的数据缓存段进行合并。

根据本发明的另一面，提供一种基于时间度量数据实时查询服务的优化实现方法系统，包括查询数据库，用于存储不同的度量，每个度量包括多个度量数据点，每个度量数据点包括度量值和标签集合，所述标签集合中的每个标签由一个key/value对组成，不同的度量中的度量数据点有不同的key的集合，但同一度量中的度量数据点的key的集合是相同的，将属于同一度量，且将含有相同key/value对的组合的数据点归为一个基础时间度量序列并记录在元数据表中。