[发明专利]一种在线重复数据删除系统的数据重建优化方法

摘要

本发明提出一种在线重复数据删除系统的数据重建优化方法，一方面针对数据的存储，通过冗余检测、削减重复的数据，利用有限的空间资源存储和管理更多的数据；另一方面，本发明的系统模型通过调度和重排去重后的数据块的分布，将常用的文件数据块预取到去重包中数据片段的前端，将随机离散分布的数据块和相应的指纹数据聚合在去重包中存储，以减少文件数据恢复过程中磁盘上的寻道时间，从而提高在线重复数据删除系统的数据重建性能，提高系统响应时间和数据恢复效率。

主权项

一种在线重复数据删除系统的数据重建优化方法，其特征在于，包括下述步骤：(1)、在线重复数据删除系统对初始文件进行数据去重之后，生成去重包，去重系统响应用户对基于文件级别的数据的访问请求，通过文件恢复实现用户的存储访问，在线重复数据删除系统会在一段预设定长度的时间内统计去重包中各个文件的访问次数，将访问频度高于设定的临界值的文件归类为常用文件集，访问频度低于该临界值的文件归为非常用文件集，然后执行步骤(2)操作；(2)、暂停重复数据删除系统的数据访问请求，进行基于文件级别的数据块重排，常用文件过滤器根据步骤(1)得到的常用文件集对去重包中的文件实体进行分流处理；处理过程是：按照去重包中初始文件的排列顺序，逐个读取去重包中的文件实体，比较文件实体记录对应文件的元数据信息段的文件名和文件类型，如果该文件名存在于步骤(1)生成的常用文件集中，则执行步骤(3)操作；(3)、读取文件实体的唯一数据块编号区，根据数据块映射规则，找到每个对应编号的唯一数据块在去重包中的存放位置，将对应的唯一数据块写入到将要恢复的文件中，并且把文件实体中的最后一个唯一数据块也写入到要恢复的文件中，如果步骤(2)全部完成之后，则执行步骤(4)，否则继续返回执行步骤(2)；(4)、将常用集中的文件重新进行数据块切分和指纹计算，并生成新的逻辑数据块单元和文件描述元信息，将新生成的数据信息写入到新的去重包中，然后执行步骤(5)操作；(5)、将旧的去重包中的非常用文件集对应的唯一数据块进行基于文件级别的数据恢复，将非常用文件集中文件追加到新的去重包中，放到新的去重包中数据片段的后端，完成后删除旧的去重包；(6)、新生成的去重包中的数据分布是基于对常用文件所包含的数据块和文件元数据的预取和集中，重复数据删除系统恢复响应用户对数据访问的请求。