[发明专利]一种基于大冗余量时序数据的存储方法

权利要求书

1.一种基于大冗余量时序数据的存储方法，其特征在于：该方法具体如下：

步骤1、传感器发送时序数据到服务器，服务器使用内存数据库作缓存；

步骤2、在传感器发送的时序数据达到设定的一段测控时间或者完成阶段性测量任务后，服务器将内存数据库中缓存的时序数据以去冗余存储格式存储于磁盘数据库中，成为该段测控时间或者该阶段性测量任务的历史数据；

服务器将内存数据库中缓存的时序数据以去冗余存储格式存储于磁盘数据库中的过程具体如下：

服务器将内存数据库中缓存的时序数据根据不同标识的传感器源划分为多个数据段，然后将传感器源标识相同的各数据段归并为一条信息，每条信息存入一个数据库表中；信息存入数据库表的存储格式如下：

①若信息中各数据段间隔相同，则将该信息以以下格式进行存储：

[S][d][v₁|a₁|v₂|a₂,…,v_i|a_i,…,v_n|a_n]

其中：

[]表示各存储列数据之间的分隔；

“|”表示分隔符号，可以根据需要选用其它分隔符号；

S表示数据起始时间戳；

d表示每两个相邻数据间的时间间隔；

v_i表示去冗余后的第i个数据值，去冗余过程为相邻且数据值相同的多个数据只保留一个，i＝1,2,…,n，n表示去冗余后数据的总个数；

a_i表示去冗余之前，第一个数据到连续出现的几个v_i值中最后一个对应的数据之间所有数据的个数和；

②若信息中各数据段间隔不相同，则将该信息以以下格式进行存储：

[S][v₁|t₂|v₂,…,t_q|v_q,…,t_m|v_m]

其中：

[]表示各存储列数据之间的分隔；

“|”表示分隔符号，可以根据需要选用其它分隔符号；

S表示数据起始时间戳；

m表示去冗余后数据的总个数；

v_q表示去冗余后的第q个数据值，q＝1,2,…,m；其中，v₁对应的时间为S；

t_q表示去冗余后的第q个数据与起始时间戳S的时间间隔，单位为毫秒；

去冗余过程具体为：定义k_q＝(v_q+1-v_q)/(t_q+1-t_q)和k_q+1＝(v_q+2-v_q+1)/(t_q+2-t_q+1)为任意相邻三个数据点([t_q]，[v_q])、([t_q+1]，[v_q+1])和([t_q+2]，[v_q+2])之间的两个斜率值，若k_q＝k_q+1，则删除该三个数据点中的中间数据点。

2.根据权利要求1所述一种基于大冗余量时序数据的存储方法，其特征在于：所述的内存数据库具体为redis数据库。

3.根据权利要求1所述一种基于大冗余量时序数据的存储方法，其特征在于：步骤1中由服务平台调用内存数据库中的时序数据，并展示给实时数据监控端。

4.根据权利要求1、2或3所述一种基于大冗余量时序数据的存储方法，其特征在于：若需要对历史数据进行搜索和分析，则根据不同存储格式进行：信息以第①种存储格式存入数据库表时，如果要搜索某时刻t的数据或者某时间段范围的数据，则首先通过判断S_j≤tS_j+1来确定要搜索的数据所在的那条信息的数据行，再通过判断S_j+a_i*d≤tS_j+a_i+1*d搜索到该条信息的具体数据点，S_j代表数据行j的数据起始时间戳；信息以第②种存储格式存入数据库表时，如果要搜索某时刻t的数据或者某时间段范围的数据，则首先通过判断S_j≤tS_j+1来确定要搜索的数据所在的那条信息的数据行，再通过判断S_j+t_q≤tS_j+t_q+1搜索到该条信息的具体数据点。