[发明专利]一种时序数据的高效存储和读取系统

说明书

一种时序数据的高效存储和读取系统，属于实时数据库技术领域。包括一台或多台联网的计算机，构成了系统的硬件平台；在计算机上运行本系统的软件，包括数据写入模块、数据压缩模块和数据读取模块，数据写入模块负责接收新数据，将数据分别写入内存缓存和日志文件；数据压缩模块负责将日志文件的数据按照本发明设计的压缩算法和索引结构压缩成数据文件；读取模块响应读取请求，综合内存缓存和数据文件查询结果后返回。优点在于，相比关系型数据库，磁盘占用少、读写速度快；数据经过压缩后占用磁盘空间更少，磁盘空间占用仅为35％；数据写入速度更快，与Mysql数据库变比，写入速度提高3倍；数据读取速度更快，与Mysql数据库变比，读取速度提高20倍。

技术领域

本发明属于实时数据库技术领域，特别涉及一种时序数据的高效存储和读取系统。

背景技术

时序数据即时间序列数据，指带时间标签(按照时间的顺序变化，即时间序列化)的数据。时序数据主要由电力、化工、冶金等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大(常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量)。

目前对于时序数据的存储和处理往往采用关系型数据库的方式进行处理，但由于关系型数据库天生的劣势导致其无法进行高效的存储和数据的查询。因此迫切需要一种专门针对时序数据来做优化的高效存储和读取系统。

发明内容

本发明的目的在于提供一种时序数据的高效存储和读取系统，解决了各种类型时序数据的高效压缩、高效写入和高效读取问题。

本发明的系统包括一台或多台联网的计算机，构成了系统的硬件平台；在计算机上运行本系统的软件，包括数据写入模块、数据压缩模块和数据读取模块，数据写入模块负责接收新数据，将数据分别写入内存缓存和日志文件；数据压缩模块负责将日志文件的数据按照本发明设计的压缩算法和索引结构压缩成数据文件；读取模块响应读取请求，综合内存缓存和数据文件查询结果后返回。

本发明为各种类型时序数据设计了专门的压缩方法。时序数据类型包括整数、浮点数、布尔、字符串、时标五种数据类型，针对这五种数据类型分别设计的压缩方法如下：

整数的压缩方法为，第一个整数不压缩，从第二个整数开始计算与前一个数的差值，并对差值进行ZigZag(由谷歌公司在protocol-buffers协议中首先提出)编码，将差值为负数的变为正数，然后将差值采用simple8b算法(来自论文：Ann and Moffat，Indexcompression using 64-bit words,Softw.Pract.Exper.2010；40:131–147)进行压缩。

浮点数的压缩方法为，第一个浮点数不压缩，从第二个浮点数开始与前一个数进行异或计算得到差值。当两个浮点数数值接近时得到的差值很小，当差值为0时仅存1位0；不为零时存1位1，然后用5位存储64位中位于左端的0的数量，用6位存储居右端的0的数量，再将非零位截取出来存储。

布尔值的压缩方法为，直接将布尔值用1位存储，每个64位无符号整型可以存储64个布尔值。

字符串的压缩方法为，将字符串顺序添加到字节流后用snappy算法(由谷歌公司在http://google.github.io/snappy/提供的开源算法)压缩。

时标数的压缩方法为，第一个时标数不压缩，从第二个时标数开始与前一个数进行差值计算，第一个差值不压缩，然后从第三个数开始计算差值的差值，如果差值的差值为0(当数据的存储间隔相同时)，仅存储0和0出现的次数；否则采用simple8b存储该差值的差值。