[发明专利]基于Map/Dedup的数据存储云化和云备份方法

摘要

本发明公开了一种基于Map/Dedup的数据存储云化和云备份方法，包括数据存储云化的步骤和服务器数据备份的步骤，其中数据存储云化的步骤包括：定制Map模块的映射规则以及重复数据删除模块的重复数据删除方式；Map服务器的预处理模块对获取的数据进行预处理，得到结构化数据；Map服务器将结构化数据按映射规则映射到存储服务器上；重复数据删除模块按重复数据删除方式对数据进行重复数据删除；存储数据。服务器数据备份步骤包括：扫描源文件的历史备份，打开源文件的增量备份的索引文件和内容文件；根据索引文件，建立索引网络；根据索引网络，读出增量备份的各数据块到内存；将数据块的数据与源文件中对应的数据作比较，对此数据块生成新的增量备份的索引文件。

主权项

一种基于Map/Dedup的数据存储云化和云备份方法，其特征在于，包括数据存储云化的步骤和服务器数据备份的步骤，其中：所述数据存储云化的步骤进一步包括如下步骤：步骤(11)定制映射模块的映射规则以及重复数据删除模块的重复数据删除方式；步骤(12)映射服务器抓取或者接收数据源的数据；步骤(13)所述映射服务器判断所述数据源的所述数据是否需要进行预处理，如果不需要进行预处理，直接执行步骤(14)，如果需要进行预处理，则通过所述映射服务器的预处理模块对所述数据进行预处理，得到结构化数据；步骤(14)所述映射模块将所述结构化数据按所述映射规则映射到相应的存储服务器上；步骤(15)所述存储服务器读取所述结构化数据，所述重复数据删除模块按所述重复数据删除方式对所述结构化数据进行重复数据删除；步骤(16)所述存储服务器存储重复数据删除完成后的数据；所述服务器数据备份的步骤进一步包括如下步骤：步骤(21)所述存储服务器扫描源文件的历史备份，决定是否备份所述源文件及备份方式；步骤(22)所述存储服务器打开所述源文件的增量备份的索引文件和内容文件，以及所述源文件的完全备份文件，以备读取；步骤(23)所述存储服务器根据所述增量备份的所述索引文件，建立索引网络；步骤(24)所述存储服务器根据所述索引网络，从始至末依次将所述增量备份中的各数据块中的数据读出到内存；步骤(25)将所述存储服务器读出的所述数据块中的数据与所述源文件对应位置的数据作比较，为所述数据块生成新的增量备份的索引文件，释放所述数据块所占的内存空间；步骤(26)所述存储服务器释放所述索引网络所占的内存空间。