[发明专利]基于相似数据集的网络监测数据压缩存储和联合检测方法

摘要

本发明公开了一种基于相似数据集的网络监测数据压缩存储和联合检测方法，要解决的技术问题是针对存在较多相同数据项的多个数据集提出一种基于表的关系数据库压缩存储和联合检测方法。技术方案是采用关系模型对数据建模，利用关系数据库对数据进行存储和管理，采用基于状态标记序列的压缩方法对同一关系框架下的多个相似数据集进行压缩存储；使用查询语句恢复出原始的数据集；通过对压缩后的数据表进行查询实现对多个原始数据集的多种类型的联合检测。本发明利用大量数据集之间的相似性，将多个数据集增量式地压缩到数据库的同一个表中，可以应用于多种类型网络监测数据的压缩存储，也可用于存储其他类型的网络历史数据或相似数据集。

主权项

1.一种基于相似数据集的网络监测数据压缩存储和联合检测方法，其特征在于采用关系模型对数据建模，利用关系数据库对数据进行存储和管理，采用基于状态标记序列的压缩方法对同一关系框架下的多个相似数据集进行压缩存储，使用查询语句恢复出原始的数据集，通过对压缩后的数据表进行查询实现对多个原始数据集的多种类型的联合检测；基于状态标记序列的压缩方法的过程是：令R1＝，R2＝，stamp是一个字符串，R＝R1×R2；S1、S2、…、SK互为关系框架R1 上的相似数据集；S0是关系框架R上的具体关系，作为S1、S2、…、SK的压缩集，用来记录压缩之后的数据集，其初始值为空集；结合状态标记序列，先后将S1、S2、…、SK逐个压缩存入数据库，压缩存储过程是：输入：关系框架R1上的K个相似数据集S1、S2、…、SK，数据集的状态标记标识STAMP[1]＝″1″、STAMP[2]＝″2″、…、STAMP[K]＝“K”；输出：带状态标记序列的压缩数据集S0，S0是关系框架R上的具体关系；1)S0初始时是一个空集；2)i＝1，2，…，K，重复执行以下步骤：3)j＝1，2，…，#Si(数据集Si的元素个数)，重复执行以下步骤：4)从数据集Si中任取一个元素r，并将r从Si去除；5)如果存在r′∈S0使得它的各个属性值都和r相同，即r′.x1＝r.x1、r′.x2＝r.x2、…、r′.xn＝r.xn，则修改r′对应的状态标记序列：r′.stamp＝r′.stamp+STAMP[i]；6)否则，构造一个新的stamp，stamp＝STAMP[i]，把作为一条新的记录添加到S0中。