[发明专利]用于处理时序数据的方法和装置

说明书

技术领域

本发明涉及时序数据处理，更具体地，涉及在数据库中存储和检索时间序列数据。

背景技术

在涉及物联网/传感器的应用中，需要实时处理大规模的时序数据(Time Series Data，亦称“时间序列数据”)，例如股价波动、气温变化、血压高低、潮汐时间、等等。时序数据由时间和值组成。

时序数据包含时间戳和与时间戳相关联的值，例如包含来自传感器的采样时间和采样值。在各种应用中，需要将这样的时序数据持久地存储在数据库中以便查询。现有技术中存储时序数据的方式，通常是将采样时间与采样值一一对应地存储在数据库中。与这种方式相关联，为了查询目的创建索引文件时，也是以采样时间、采样值分别作为索引文件的键字的。这种存储和索引方式，数据和索引文件需要占用的存储空间较大，而且，在进行数据查询时，由于需要更多的I/O操作，因而影响查询速度。在持久存储海量的时序数据时对存储空间的浪费以及对海量的时序数据进行查询时的产生的巨大的吞吐量的问题，尤其突出。

存在这样的需要，即以较低的存储量持久存储海量的时序数据，同时还能对如此存储的海量的数序数据，进行方便快捷的查询。

发明内容

针对现有技术的状况，本发明的一个目的是提供一种用于处理时序数据的改进的方法和装置。

一方面，公开一种用于处理时序数据的方法和装置，该方法包含：接收一个时序数据集合，其中，时序数据集合的每个元素包含一个时间戳和一个与时间戳相关联的原始值，并且，所有的时间戳表示的时间，构成一个具有固定时间间隔的时间序列；按照预定的单调数值压缩编码方案，将每个原始值转换成占用更小存储空间的编码值；将所有的时间戳所表示的时间划分成多个预定长度的时间区间；将每个时间区间内的所有的时间戳对应的编码值装配成一个数据包，使得该数据包中包含按照时间戳顺序排列的编码值；将每个数据包及其相关联的时间区间的标识，存储在一个数据库记录中。

另一方面，公开一种用于处理时序数据的方法和装置，该方法包含：接收一个时序数据集合，其中，时序数据集合的每个元素包含一个时间戳和一个与时间戳相关联的原始值；按照预定的单调数值压缩编码方案，将每个原始值转换成占用更小存储空间的编码值；为编码值划分编码值区间；针对每个编码值区间，将处于该编码值区间中的每个编码值及其时间戳装配成数据包，使数据包中包含每个编码值的低位字节和该编码值对应的时间戳；将每个数据包连同表征对应的编码值区间的标识，存储在一个数据库记录中。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图；

图2表示按照本发明一个实施例的方法的示意性流程图；

图3表示按照本发明另一个实施例的方法的示意性流程图；

图4A示意性地表示一个时序数据集合；

图4B示意性地表示由传感器生成的时序数据；

图5示意性地表示按照本发明实施例、对图4A所示的时序数据集合中的原始值进行变换后生成的编码值；

图6示意性地表示按照本发明一个实施例的的用于存储时序数据的各种数据结构；

图7示意性地表示按照本发明另一个实施例的用于存储时序数据的各种数据结构；

图8和9分别表示按照本发明一个实施例的装置的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。