[发明专利]一种适用于备份系统的安全数据去重方法和系统

说明书

技术领域

本发明属于计算机存储领域，更具体地，涉及一种适用于备份系统的安全数据去重方法和系统。

背景技术

近年来，随着计算机技术和网络的发展普及，全球的数据信息存储量呈爆炸式增长的趋势。全球范围内个人电脑、智能手机等设备的普及，和新兴市场内不断增长的互联网访问量，以及监控摄像机或智能电表等设备产生的数据爆增，使数字宇宙的规模在最近两年翻了一番，达到惊人的2.8ZB。IDC预计，到2020年，数字宇宙规模将超出预期，达到40ZB。在线数字内容的增长导致了硬件、人力维护在内的存储系统成本的增加，减少传输、存储管理过程中的数据量变得极其重要。在海量的数据中存在大量的重复数据和相似数据，如同样的文件为确保安全存储了多份，在计算机系统通常存储和操作同一数据的若干副本，这些冗余数据占用了大量的存储空间。数据去重技术是一种通过大规模消除冗余数据，降低存储成本的重要技术。简单举例说明：若有一个10MB大小的文件，将其拷贝给100个用户，需要使用1GB的存储空间；若每周对100个用户的数据进行备份，则每周需要额外增加1GB的存储空间；一年之后，总共需要浪费52GB的存储空间；而进行数据去重之后，仅需要10MB大小的空间即可存储。

随着容灾备份系统和数据去重技术的发展，隐私数据的丢失与篡改等存储安全问题日渐突出，例如：对于现有的备份系统，在存储服务过程中，存储系统错误配置、管理员操作失误、敌手通过抓包获取等有可能将用户的明文数据直接暴露给他人；即使敌手无法获取明文，也可能通过破坏传输文件，篡改数据、暴力攻击等方式获取和破坏用户和企业的重要数据。因此，如何在数据备份过程中建立一个安全的数据去重系统成为了工业界和学术界研究的热点。

数据安全在现在存储系统中逐渐引起企业和学术界的重视，在很大程度上，数据去重和加密在逻辑上是完全相反和矛盾的。数据去重利用了数据的相似性，相反密码学的目标是使得密文分布更接近于理论上的随机性。假如按照经典数据去重算法，不同用户对于共享的数据块加密，由于密文的随机性将得到不同的密文，产生不同的指纹，导致数据去重的效率大大降低。假如采用不同的用户对共享的数据块明文计算处理得到相同的指纹，再使用不同的密钥加密数据块得到不同的密文，导致其他用户无法解密。同时在数据去重技术中增加加密、身份认证等安全技术势必会增加备份系统的负担，降低备份系统的性能。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种适用于备份系统的安全数据去重方法和系统，其目的在于保证在数据去重率不变的基础上，防止数据丢失、篡改等存储安全问题。

为实现上述目的，按照本发明的一个方面，提供了一种适用于备份系统的安全数据去重方法，包括：

一、备份阶段，其包括以下步骤：

（1）接收用户提交的备份请求；

（2）对需要备份的每个文件进行分块，以得到多个不同大小的数据块；

（3）使用哈希算法计算每个数据块的哈希值F¹来作为数据块加密密钥。

（4）再次使用哈希算法计算每个数据块哈希值F¹的哈希值F²，并将哈希值F²作为该数据块的指纹，并采用经典加密算法使用用户的私钥对数据块的哈希值F¹进行加密以得到数据哈希值F¹的密文E（F¹）；

（5）将文件的数据块个数nChunkNum，所有数据块指纹F²等打包成指纹段并记录，顺序将所有指纹段以指纹流的形式发送传输到存储服务器，并发送校验流到存储服务器；

（6）在存储服务器的内存中建立用于记录该文件的数据块是否重复的单链表；

（7）根据指纹段和文件数据块个数nChunkNum在存储服务器端进行数据去重的操作过程；

（8）在客户端准备备份非重复的数据块，设置计数器j=1，并判断j是否大于nChunkNum，如果是则转步骤（12），否则转步骤（9）；

（9）对于第j个数据块，如果其是重复的数据块，则不予发送；如果其是新的数据块，采用文件压缩算法压缩，并以数据块哈希值F¹作为第j个数据块的数据块加密密钥，并使用该数据块加密密钥和经典加密算法对第j个数据块加密，得到的密文数据块；

（10）将加密后的密文数据块和数据块哈希值F¹的密文E（F¹）以数据流的形式发送至存储服务器，并发送校验流到存储服务器，设置j=j+1；