[发明专利]一种基于大冗余量时序数据的存储方法

说明书

本发明公开了一种基于大冗余量时序数据的存储方法。传统关系型数据库存储时序数据时存储成本大、写入吞吐低、查询性能差。本发明的服务器使用内存数据库作缓存。在传感器发送的时序数据达到设定的一段测控时间或者完成阶段性测量任务后，服务器将内存数据库中缓存的时序数据以去冗余存储格式存储于磁盘数据库中，成为该段测控时间或者该阶段性测量任务的历史数据；需要对历史数据进行搜索和分析时，根据不同存储格式进行调用。本发明以压缩形式存储历史数据，对数据去冗余，以减少服务器硬盘空间开销，减少数据行数，并在需要调用时，快速准确地调用历史数据。

技术领域

本发明属于数据处理技术领域，具体涉及一种基于大冗余量时序数据的存储方法。

背景技术

传感器技术作为信息技术的三大基础之一，是当前各发达国家竞相发展的高新技术。随着经济和技术的进步、互联网的普及和信息高速公路的发展，在社会的各个角落，部署了大量的各种用途的传感器，用于确保人们生活的安全，便捷。

大量的传感器也产生了大量的数据，不但在传输时占用了大量的网络带宽，而且随着应用的积累，也需要大量的硬件系统去存储历史数据。如果不对数据进行相应的处理，将会有很多的冗余数据。在历史数据的检索时，会降低平台系统的效率，占用更多的硬件资源，造成大量硬件资源浪费。

时序数据是基于时间的一系列的数据。在有时间的坐标中将这些数据点连成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性；往未来看可以做大数据分析，机器学习，实现预测和预警。

时序数据不同于一般关系数据，有持续高并发写入，无更新操作：时序数据库面对的往往是百万甚至千万数量级终端设备的实时数据写入，但数据大多表征设备状态，写入后不会更新。

传统关系型数据库存储时序数据时存在如下问题：

1、存储成本大：对于时序数据压缩不佳，需占用大量机器资源；

2、维护成本高：单机系统，需要在上层人工的分库分表，维护成本高；

3、写入吞吐低：单机写入吞吐低，很难满足时序数据千万级的写入压力；

4、查询性能差：适用于交易处理，海量数据的聚合分析性能差。

发明内容

本发明的目的在于提供一种对传感器时序数据缓存的持久化存储方法，该方法适用于有较大冗余数据的、可阶段性存储的时序数据，最终达到以压缩形式存储历史数据，减少服务器硬盘空间开销，并在需要调用时，快速准确地调用历史数据。

本发明具体如下：

步骤1、传感器发送时序数据到服务器，服务器使用内存数据库作缓存。

步骤2、在传感器发送的时序数据达到设定的一段测控时间或者完成阶段性测量任务后，服务器将内存数据库中缓存的时序数据以去冗余存储格式存储于磁盘数据库中，成为该段测控时间或者该阶段性测量任务的历史数据。

服务器将内存数据库中缓存的时序数据以去冗余存储格式存储于磁盘数据库中的过程具体如下：

服务器将内存数据库中缓存的时序数据根据不同标识的传感器源划分为多个数据段，然后将传感器源标识相同的各数据段归并为一条信息，每条信息存入一个数据库表中。信息存入数据库表的存储格式如下：

①若信息中各数据段间隔相同，则将该信息以以下格式进行存储：

[S][d][v₁|a₁|v₂|a₂,…,v_i|a_i,…,v_n|a_n]

其中：

[]表示各存储列数据之间的分隔；