[发明专利]一种对查询友好的关联数据压缩方法

权利要求书

1.一种对查询友好的关联数据压缩方法，其特征在于，

一个构建结构模型的步骤，具体包括：

步骤1，将三元组内存模型基于N-Triple格式关联数据并解析，得到三元组集合，然后构建字典，并将三元组ID化，其中，解析的过程包括：

步骤1.1，过滤掉以#开始的行或者空行；

步骤1.2，读取每一行数据按空格切分字符串；

步骤1.3，将切分后数据映射到三元组的主语、谓语和宾语，构建成一个三元组；

构建字典，并将三元组ID化具体包括：

步骤3.1，将上一步得到的三元组进行扁平化操作，去掉重复数据项；

步骤3.2，为每一项数据分配一个唯一ID，得到字典；

步骤3.3，抽取字典中每项数据相同的头部信息，得到Header；

将原始的三元组数据用ID替换，得到ID化的三元组集合；

步骤2，基于关系挖掘约束，挖掘三元组中潜在的关联；关系挖掘约束包括：

第一步：合并具有相同主语和谓语的三元组；

第二步：将所有三元组按照主语进行分类，合并相同主语的所有谓语和宾语，形成谓语向量和宾语向量，提取每个主语的谓语向量；

第三步：合并具有相同谓语向量和宾语的三元组；

第四步：将所有三元组按照谓语向量分类，合并相同谓语向量的主语和宾语，形成主语向量和宾语矩阵；

步骤3，定义压缩查询内存模型，由头部信息、字典和数据块集合组成，每个数据块由主语向量、谓语向量和宾语矩阵组成；所述压缩查询内存模型使用主语向量、谓语向量和宾语矩阵的方式表示三元组关系：定义主语向量为一个长度为m的列向量，谓语向量为一个长度为n的行向量，宾语矩阵为一个m*n的矩阵，主语向量和谓语向量做向量乘法，得到一个和宾语矩阵大小相同的由主谓语组成的矩阵，再与宾语矩阵的数据项一一映射，映射后的每一项为一个三元组关系；

一个基于结构模型进行高压缩率数据存储的步骤，具体包括：

步骤4，定义每个ID的存储长度相同，基于压缩查询内存模型的序列化方式：使用辅助标识进行序列化和反序列化操作；

步骤4.1，序列化：对于每个数据块，将宾语矩阵扁平化，用介词辅助标识将主语向量、谓语向量和扁平化的宾语矩阵数据连接成线性数据结构，再将处理后的线性数据结构用数据块辅助标识连接在一起；

步骤4.2，反序列化：根据数据块辅助标识将序列化的数据划分成若干个数据块，对于每个数据块，根据介词辅助标识划分为主语向量、谓语向量和扁平化的宾语矩阵，再根据主语向量的长度将扁平化的宾语矩阵还原成真实矩阵；

一个基于结构模型进行数据查询的步骤，具体包括：

步骤5，基于压缩查询内存模型的SPARQL的查询：对主语和谓语的查询使用二分查找，对于宾语的查询使用线性遍历查找，具体包括：

步骤5.1，主语查询方法具体包括：遍历所有数据块的主语向量，因为主语向量内部已排序，使用二分查找方法，因此主语查询时间复杂度为O(log2n)；

步骤5.2，谓语查询方法具体包括：遍历所有数据块的谓语向量，因为谓语向量内部已排序，使用二分查找方法，因此谓语查询时间复杂度为O(log2n)；

步骤5.3，宾语查询方法具体包括：遍历所有数据块的宾语矩阵，因为宾语矩阵内部未排序，只能顺序查找，时间复杂度为O(n)。

2.根据权利要求1所述的一种对查询友好的关联数据压缩方法，其特征在于，SPARQL的查询还包括：

步骤5.4，复杂查询，所有的复杂查询都能够分解为前面三种简单查询，再合并简单查询的结果；所述步骤5.1至步骤5.4能够并发执行。

3.根据权利要求1所述的一种对查询友好的关联数据压缩方法，其特征在于，还包括一个宾语矩阵拆分的步骤，对于宾语矩阵过大的数据块，拆分为多个数据块，具体是当宾语矩阵过大导致宾语查询缓慢的解决方案，保持谓语向量不变，将主语向量和宾语矩阵对应拆分，得到多个小的数据块，此拆分方法能维护压缩查询内存模型结构，保证拆分后的压缩查询内存模型仍然能进行并发查询操作。