[发明专利]一种基于元数据的数据交互方法和系统

说明书

公开了基于元数据的数据交互方法和系统，包括利用元数据压缩算法生成元数据仓库文件，包括：为每个目标数据文件生成虚拟目录描述文件；将目标数据文件分解为若干数据块，并添加至描述文件中；将分解后的数据块压缩转换为7z数据folder块，并在描述文件中添加7z数据folder描述数据库节点；生成一级数据文件，遍历统计压缩数据文件中数据块中元数据出现次数，排序生成元数据仓库文件；对于已经下载完成的元数据仓库文件，基于解压算法解压文件，包括：还原一级数据文件，解压最后一个数据块，获得虚拟目录描述文件；解压第一数据块，还原所有文件描述数据块；还原所有数据文件目录，完成文件解压。本申请可提高网站存储空间利用率，且解压速度的影响比较小。

技术领域

本发明涉及大数据处理与数据压缩的技术领域，尤其是一种基于元数据的数据交互方法和系统。

背景技术

随着现代计算机、手机等终端硬件计算和存储性能的提高，导致音视频流数据逐渐成为网络数据流量的主要来源之一，与此同时，软件安装包、磁盘映射、Docker容器等应用数据包的存储容量也在逐渐提升。本发明的解决方案力求在互联网上更高效、快速地传输、共享、发布大数据量文件。

目前主流的压缩算法和工具很多，压缩比也比较高，但是，随之计算的熵增，压缩比迅速减低。为了进一步提升压缩比，必须要从更大数据范围搜索。本发明的压缩过程需要消耗大量的计算和磁盘空间。这些需求在个人计算中实现是非常难以实现的。需要利用云上大量的巨型计算资源，才能实现。压缩后的文件数据尺寸更小，下载时，再配合使用BitTorrent共享协议，能够大幅提高数据传输效率。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于元数据的数据交互方法和系统，以解决上述技术问题。

根据本发明的一个方面，提出了一种基于元数据的数据交互方法，包括：

S1：利用元数据压缩算法生成元数据仓库文件，其中，元数据压缩算法包括以下步骤：

S11：为每个目标数据文件生成虚拟目录描述文件；

S12：根据单一目标文件的扩展名，调用对应的文件分解算法将目标数据文件分解为若干数据块，并添加至虚拟目录描述文件中；

S13：利用7z算法将分解后的数据块压缩转换为7z数据folder块，并在虚拟目录描述文件中添加7z数据folder描述数据库节点；

S14：生成一级数据文件，遍历统计各个压缩数据文件中数据块中元数据出现次数，排序生成元数据仓库文件；

S2：对于已经下载完成的元数据仓库文件，基于解压算法解压文件，包括：

S21：还原一级数据文件，调用元数据压缩算法解压最后一个数据块，获得虚拟目录描述文件；

S22：基于虚拟目录描述文件和元数据压缩算法中的步骤S14解压第一数据块，还原所有文件描述数据块；

S23：基于虚拟目录描述文件和元数据压缩算法中的步骤S13，还原所有数据文件目录，完成文件解压。

在一些具体的实施例中，虚拟目录描述文件采用XML文件格式进行描述，用于记录目标文件的目录层级和数据文件的基本信息，以及文件数据块分解信息。

在一些具体的实施例中，数据块包括文件描述数据块、原文件数据块和7z数据folder块，每个数据块按照原文件的存储顺序排列。

在一些具体的实施例中，S13包括：

将所有文件描述数据块合并后，调用7z算法压缩转换为7z数据folder块，并在虚拟目录描述文件中添加7z数据folder描述数据库节点；