[发明专利]一种适用于备份系统的安全数据去重方法和系统

摘要

本发明公开了一种适用于备份系统的安全数据去重方法，包括：接收用户提交的备份请求，对需要备份的每个文件进行分块，以得到多个不同大小的数据块，使用哈希算法计算每个数据块的哈希值F1来作为数据块的加密密钥，再次使用哈希算法计算每个数据块哈希值F1的哈希值F2作为该数据块的指纹来识别重复数据块，并采用经典加密算法使用用户的私钥对数据块的哈希值F1进行加密以得到数据哈希值F1的密文E（F1）来保护数据块的加密密钥。将所有数据块指纹F2等顺序打包成指纹段发送传输到存储服务器。本发明中所有通信过程采用安全套接层协议。本发明通过采用该安全数据去重方法，能够保证在数据去重率不变的基础上，防止数据丢失、篡改等存储安全问题。

主权项

一种适用于备份系统的安全数据去重方法，其特征在于，包括： 一、备份阶段，其包括以下步骤： （1）接收用户提交的备份请求； （2）对需要备份的每个文件进行分块，以得到多个不同大小的数据块； （3）使用哈希算法计算每个数据块的哈希值F1来作为数据块加密密钥。 （4）再次使用哈希算法计算每个数据块哈希值F1的哈希值F2，并将哈希值F2作为该数据块的指纹来识别重复数据块，并采用经典加密算法使用用户的私钥对数据块的哈希值F1进行加密以得到数据哈希值F1的密文E（F1），从而保护数据块加密密钥F1； （5）将文件的数据块个数nChunkNum，所有数据块指纹F2等打包成指纹段并记录，顺序将所有指纹段以指纹流的形式发送传输到存储服务器，并发送校验流到存储服务器； （6）在存储服务器的内存中建立用于记录该文件的数据块是否重复的单链表； （7）根据指纹段和文件数据块个数nChunkNum在存储服务器端进行数据去重的操作过程； （8）在客户端准备备份非重复的数据块，设置计数器j=1，并判断j是否大于nChunkNum，如果是则转步骤（12），否则转步骤（9）； （9）对于第j个数据块，如果其是重复的数据块，则不予发送；如果其是新的数据块，采用文件压缩算法压缩，并以数据块哈希值F1作为第j个数据块的数据块加密密钥，并使用该数据块加密密钥和经典加密算法对第j个数据块加密，得到的密文数据块； （10）将加密后的密文数据块和数据块哈希值F1的密文E（F1）以数据流的形式发送至存储服务器，并发送校验流到存储服务器，设置j=j+1； （11）根据第j个数据块在存储服务器中的存储位置，保存数据块密文，然后返回步骤（8）； （12）将该单链表发送回客户端，并将所有数据块的数据哈希值F1的密文E（F1）写入到存储服务器的文件谱中； （13）释放内存中单链表的数据结构，备份过程结束； 二、恢复阶段，其包括以下步骤： （14）接收用户提交的恢复请求；具体而言，该等信息，由备份服务器根据文件这些信息等查找到该文件指定的存储服务器。 （15）从存储服务器中查找该恢复文件对应的文件谱，将文件谱中的所有内容包括所有数据块哈希值F1的密文E（F1）、文件名、文件路径等信息读出，并以指纹流的形式发送回客户端； （16）通过使用LockBox机制取出用户的私有密钥，并对接收到的数据块哈希值F1的密文（E（F1））使用用户的私有密钥进行解密，并将解密得到的数据块哈希值F1以单链表结构保存在内存中； （17）对数据块哈希值F1使用备份过程中相同的哈希算法再次求取哈希值，以得到数据块指纹F2，并将其发送回存储服务器；具体而言，本发明采用的是SHA‑1算法计算哈希值； （18）根据数据块指纹F2找到数据块，并将数据块发送回客户端； （19）对接收到的数据块进行解密和解压缩处理，并写入文件； （20）释放内存中保存的数据块哈希值F1的单链表数据结构，恢复过程结束。