[发明专利]时序性整数数据的处理方法、系统、设备和介质

说明书

本发明特别涉及时序性整数数据的处理方法、系统、设备和介质。本发明的方法包括：分别计算多个时序性整数数据中的相邻两个时序性整数数据之间的差值，获得第一数组；计算第一数组的最大公约数，并且分别将第一数组中的每个数值除以最大公约数，获得第二数组；获得第二数组的数值变化率；判断数值变化率是否小于第一阈值，如果数值变化率小于第一阈值，则使用第一编码压缩算法对第二数组进行压缩，否则使用第二编码压缩算法对第二数组进行压缩。本发明适用于秒级或固定频率下小规模数据不连续场景，可以极大地提高该场景下的时序性整数数据的压缩率，从而达到节省存储空间的目的，在监控数据存储、物联网时序数据存储等领域具有广泛应用。

技术领域

本发明特别涉及时序性整数数据的处理方法、系统、设备和介质。

背景技术

目前，通常以相对固定的频率采集或上报时序性整数数据。然而，时序性整数数据从采集、上报到传输、存储要经过许多环节，这些环节中的任何一个环节出现提前、延时或丢失等异常情况，都有一定的概率使得最终存储的数据中出现数据不连续的情形，并且在真实数据的分析过程中该情形也具有一定的占有率。现有的时序性整数数据的编码压缩和解码方法只提供了针对通用情形的解决方案，在上述特定情形中的处理效果存在较明显的劣势。

发明内容

本发明提供时序性整数数据的处理方法、系统、设备和介质，适用于秒级或固定频率下小规模数据不连续场景，可以极大地提高该场景下的时序性整数数据的压缩率，从而达到节省存储空间的目的，在监控数据存储、物联网时序数据存储等领域具有广泛应用。

本发明公开了一种时序性整数数据的处理方法，所述方法包括：

分别计算多个时序性整数数据中的相邻两个时序性整数数据之间的差值，获得第一数组；

计算所述第一数组的最大公约数，并且分别将所述第一数组中的每个数值除以所述最大公约数，获得第二数组；

获得所述第二数组的数值变化率；

判断所述数值变化率是否小于第一阈值，如果所述数值变化率小于所述第一阈值，则使用第一编码压缩算法对所述第二数组进行压缩，否则使用第二编码压缩算法对所述第二数组进行压缩。

可选地，获得所述第二数组的数值变化率包括：

分别计算所述第二数组中的相邻两个数值之间的差值；

判断所述差值是否为0，如果所述差值不为0，则计数加一，否则所述计数保持不变；

将所述计数除以所述第二数组的长度，获得所述数值变化率。

可选地，所述第一编码压缩算法包括缺位编码压缩算法，并且对所述第二数组进行压缩包括：

分别计算所述第二数组中的每个数值与其前一个数值之间的差值；

判断所述差值是否为0，如果所述差值不为0，则将该数值的位置与上一个差值不为0的数值的位置之间的差值与该数值组成键值对，并且写入第三数组，否则继续计算下一个数值与其前一个数值之间的差值；

依次对所述第二数组的长度、所述第二数组中的初始数值以及所述第三数组中的每个键值对进行varint编码，并且将编码结果进行流连接，获得第四数组。

可选地，所述第二编码压缩算法包括字典编码压缩算法，并且对所述第二数组进行压缩包括：

获得所述第二数组的数值分布频率字典，其中，所述数值分布频率字典指示所述第二数组中的每个不同数值的出现频率；

判断所述数值分布频率字典中的所有不同数值的数量是否小于第二阈值，如果所有不同数值的数量小于所述第二阈值，则将所述第二阈值设置为所有不同数值的数量，否则所述第二阈值保持不变；