[发明专利]一种时序数据的高效存储和读取系统

摘要

一种时序数据的高效存储和读取系统，属于实时数据库技术领域。包括一台或多台联网的计算机，构成了系统的硬件平台；在计算机上运行本系统的软件，包括数据写入模块、数据压缩模块和数据读取模块，数据写入模块负责接收新数据，将数据分别写入内存缓存和日志文件；数据压缩模块负责将日志文件的数据按照本发明设计的压缩算法和索引结构压缩成数据文件；读取模块响应读取请求，综合内存缓存和数据文件查询结果后返回。优点在于，相比关系型数据库，磁盘占用少、读写速度快；数据经过压缩后占用磁盘空间更少，磁盘空间占用仅为35％；数据写入速度更快，与Mysql数据库变比，写入速度提高3倍；数据读取速度更快，与Mysql数据库变比，读取速度提高20倍。

主权项

1.一种时序数据的高效存储和读取系统，其特征在于，包括一台或多台联网的计算机，构成系统的硬件平台；在计算机上运行数据写入模块、数据压缩模块和数据读取模块，数据写入模块负责接收新数据，将数据分别写入内存缓存和日志文件；数据压缩模块负责将日志文件的数据按照设计的压缩算法和索引结构压缩成数据文件；读取模块响应读取请求，综合内存缓存和数据文件查询结果后返回；时序数据类型包括整数、浮点数、布尔、字符串、时标五种数据类型，针对这五种数据类型分别设计的压缩方法如下：整数的压缩方法为，第一个整数不压缩，从第二个整数开始计算与前一个数的差值，并对差值进行ZigZag编码，将差值为负数的变为正数，然后将差值采用simple8b算法进行压缩；浮点数的压缩方法为，第一个浮点数不压缩，从第二个浮点数开始与前一个数进行异或计算得到差值；当两个浮点数数值接近时得到的差值很小，当差值为0时仅存1位0；不为零时存1位1，然后用5位存储64位中位于左端的0的数量，用6位存储居右端的0的数量，再将非零位截取出来存储；布尔值的压缩方法为，直接将布尔值用1位存储，每个64位无符号整型可以存储64个布尔值；字符串的压缩方法为，将字符串顺序添加到字节流后用snappy算法压缩；时标数的压缩方法为，第一个时标数不压缩，从第二个时标数开始与前一个数进行差值计算，第一个差值不压缩，然后从第三个数开始计算差值的差值，当差值的差值为0，仅存储0和0出现的次数；否则采用simple8b存储该差值的差值；采用内存缓存和日志文件来保证高效写入。