[发明专利]一种基于负数据库和动态规划的时序数据压缩算法

权利要求书

1.一种基于负数据库和动态规划的时序数据压缩算法，其特征在于包括以下步骤：

步骤1：从中国虚拟天文台在网站上公开的AST3观测数据中选取在2016年观测到的星体数据并进行标准化处理.

步骤2：将处理后的数据按照HEALPIx进行分块，同一块号下的不同时间的星表进行时序交叉证认.

步骤3：观察总结星表证认结果的规律性，这种规律一方面为某次观测星表与参考星表同一划分区块的星体间对应关系上经常具有顺序性，如图1；另一方面为时间轴上连续观测的星表间.

步骤4：对单个星表的证认结果设计纵向压缩格式；在单个星表证认结果纵向压缩的基础上，对连续星表的证认规律设计横向压缩格式.

步骤5：将热点数据采用完整时序数据存储于Redis，将非热点数据通过我们设计的时序数据压缩算法进行压缩后存储于HBase.

步骤6：使用实验数据进行纵向压缩实验、横向压缩实验和整体压缩实验。

2.根据权利要求1所述的基于负数据库和动态规划的时序数据压缩算法，其特征在于：所述步骤1中数据来源于中国虚拟天文台，从上面公开的AST3在2016年拍摄的数据中，选取Tess004、Tess005和Tess006数据集，分别从其自1000天开始的1个月和3个月的数据作为实验数据，其中，每个月的数据量约为100000条。

3.根据权利要求1所述的基于负数据库和动态规划的时序数据压缩算法，其特征在于：所述步骤2中HEALPIx划分层级定为11层，将数据划分至不同的区块上。

4.根据权利要求1所述的基于负数据库和动态规划的时序数据压缩算法，其特征在于：所述步骤3中，第一种规律针对的是某个观测星表与参考星表之间交叉证认的结果规律，主要有四种情况.情况1：参考星表中的星体与观测星表中的星体在交叉证认的结果记录顺序上一一对应证认成功.情况2：由于观测星表中新增了一颗星体导致其证认结果错位对应；情况3：由于能见度等原因观测星表中漏掉某个暗星体导致证认结果错位对应；情况4：由于两星体位置很近，观测误差导致入库顺序发生颠倒使其证认结果错位对应.而第二种规律针对的是连续星表之间的证认，对其进行分析可知，存在部分时间段的观测星表中所发生的改变是相同的，这导致该部分观测星表的证认结果是相同的。