[发明专利]一种基于元数据的数据交互方法和系统

权利要求书

1.一种基于元数据的数据交互方法，其特征在于，包括：

S1：利用元数据压缩算法生成元数据仓库文件，其中，所述元数据压缩算法包括以下步骤：

S11：为每个目标数据文件生成虚拟目录描述文件；

S12：根据单一目标文件的扩展名，调用对应的文件分解算法将所述目标数据文件分解为若干数据块，并添加至所述虚拟目录描述文件中；

S13：利用7z算法将分解后的数据块压缩转换为7z数据folder块，并在所述虚拟目录描述文件中添加7z数据folder描述数据库节点；

S14：生成一级数据文件，遍历统计各个压缩数据文件中数据块中元数据出现次数，排序生成元数据仓库文件；

S2：对于已经下载完成的所述元数据仓库文件，基于解压算法解压文件，包括：

S21：还原所述一级数据文件，调用所述元数据压缩算法解压最后一个数据块，获得所述虚拟目录描述文件；

S22：基于所述虚拟目录描述文件和所述元数据压缩算法中的步骤S14解压第一数据块，还原所有文件描述数据块；

S23：基于所述虚拟目录描述文件和所述元数据压缩算法中的步骤S13，还原所有数据文件目录，完成文件解压。

2.根据权利要求1所述的基于元数据的数据交互方法，其特征在于，所述虚拟目录描述文件采用XML文件格式进行描述，用于记录目标文件的目录层级和数据文件的基本信息，以及文件数据块分解信息。

3.根据权利要求1所述的基于元数据的数据交互方法，其特征在于，所述数据块包括文件描述数据块、原文件数据块和7z数据folder块，每个所述数据块按照原文件的存储顺序排列。

4.根据权利要求3所述的基于元数据的数据交互方法，其特征在于，所述S13包括：

将所有所述文件描述数据块合并后，调用7z算法压缩转换为7z数据folder块，并在所述虚拟目录描述文件中添加7z数据folder描述数据库节点；

将每个所述原文件数据块分别调用7z算法压缩转换为7z数据folder块，并在所述虚拟目录描述文件中添加7z数据folder描述数据库节点。

5.根据权利要求1所述的基于元数据的数据交互方法，其特征在于，所述元数据仓库文件为16GB的元数据仓库文件，具体生成方式包括：

根据所述一级数据文件生成二级数据文件，所述二级数据文件由压缩记录数据集合构成，所述压缩记录数据集合由所述一级数据文件的数据块排序后压缩；

逐一合并各个所述二级数据文件，生成唯一的三级数据文件，对所述三级数据文件按照重复次数排序，提取最多的前2³¹条记录，生成最大16GB元数据仓库文件。

6.根据权利要求1所述的基于元数据的数据交互方法，其特征在于，所述元数据压缩算法还包括步骤S15：使用所述元数据仓库文件作为索引表，对所有所述一级数据文件的数据块按元数据尺寸进行重建，生成最终数据发布文件。

7.根据权利要求1所述的基于元数据的数据交互方法，其特征在于，所述S14之前还包括步骤S131：构造一级压缩数据文件，所述压缩数据文件包括文件头描述信息、数据块和尾部对齐数据块，所述文件头描述信息中记录最后一个数据块的文件偏移距离，所述数据块中最后一个数据块为所述虚拟目录描述文件调用7z算法压缩转换的7z数据folder块。

8.根据权利要求7所述的基于元数据的数据交互方法，其特征在于，所述一级数据文件的生成方式为：将S12、S13和S131中所有的模板文件压缩为一级数据文件。

9.根据权利要求6所述的基于元数据的数据交互方法，其特征在于，所述S21中基于所述步骤S15，进行逆操作还原成所述一级数据文件。

10.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至9任一项所述的方法。