[发明专利]一种重复数据删除的方法及装置

说明书

本发明实施例提供了一种重复数据删除的方法及装置，该方法包括：根据初始接收的第一镜像文件的数据块所对应的指纹建立指纹库，第一镜像文件为初始接收的虚拟机的镜像文件；将指纹库划分为至少一个指纹模块，每个指纹模块对应一种操作系统类型；接收第二镜像文件，调用与第二镜像文件的操作系统类型对应的指纹模块；获取第二镜像文件的数据块对应的指纹；将获取的指纹与调用出的指纹模块中的指纹一一进行比较，删除与调用出的指纹模块中的指纹重复的指纹对应的数据块。采用本发明，能通过建立指纹库并对指纹库按照操作系统的类型进行划分，提高对比指纹的效率以加快重复数据删除的速度。

技术领域

本发明涉及计算机领域，尤其涉及一种重复数据删除的方法及装置。

背景技术

虚拟机是指通过软件模拟的具有完整硬件系统功能的，运行在一个完全隔离环境中的完整计算机系统，在一台物理计算机上模拟出另一台或多台虚拟的计算机，因此可以在同一台物理计算机上运行多个系统。目前许多用户通过运行虚拟机来提高计算机运行效率的方式已经逐渐普及。然而，虚拟机的镜像文件的数据存在很高的重复率，因此需要将重复的镜像文件删除，减少存储系统中使用的存储容量。一般情况下，重删服务器接收客户端发送的镜像文件，再针对接收的镜像文件进行重复数据删除。若此时客户端传输的速度大于重删服务器删除镜像文件的速度，例如同时有大量客户端并发传输的情况下，容易造成系统瓶颈，占用客户端的资源，甚至可能导致数据的丢失。因此，如何消除系统瓶颈以提高重删速度成为技术开发人员关注的焦点。

一种现有的方法主要针对客户端，通过限制客户端传输镜像文件的吞吐率以及并发客户端的个数来迎合重删服务器的吞吐率，以避免产生瓶颈。然而，单纯从限制客户端的角度解决系统的瓶颈会增加客户端的排队时间，并减少客户端传输的镜像文件的数量，对客户端传输镜像文件带来极大的不良影响，无法为客户端带来更好的服务。

另一现有的解决方法则主要针对重删服务器，即提高重删服务器的硬件性能。第一方面通过使用固态硬盘或磁盘阵列而提升重删服务器中存储系统的吞吐率。第二方面通过提高处理器的性能以减少对比指纹的时间，减少延迟等。第三方面在提高处理器性能的情况下通过使用更高性能的网卡提高网络的传输速率，避免让客户端的传输速率影响重删的速度。虽然提升重删服务器的硬件性能能够在不耽误客户端传输镜像文件的情况下消除系统的瓶颈，但其硬件成本过高使诸多开发商望而却步。

发明内容

本发明实施例提供一种重复数据删除的方法及装置，能通过建立指纹库并对指纹库按照操作系统的类型进行划分，提高对比指纹的效率以加快重复数据删除的速度。

本发明实施例第一方面提供一种重复数据删除的方法，包括：

根据初始接收的第一镜像文件的数据块所对应的指纹建立指纹库，所述第一镜像文件为初始接收的虚拟机的镜像文件；

将所述指纹库划分为至少一个指纹模块，每个指纹模块对应一种操作系统类型；

接收第二镜像文件，调用与所述第二镜像文件的操作系统类型对应的指纹模块，所述第二镜像文件为在所述初始接收的虚拟机的镜像文件之后接收到的虚拟机的镜像文件；

获取所述第二镜像文件的数据块对应的指纹；

将所述获取的指纹与所述调用出的指纹模块中的指纹一一进行比较，删除与所述调用出的指纹模块中的指纹重复的指纹对应的数据块。

结合本发明实施例第一方面的实现方式，在本发明实施例第一方面的第一种可能的实现方式中，所述第一镜像文件和所述第二镜像文件均携带类型指示信息，所述类型指示信息用于指示所述第一镜像文件和所述第二镜像文件的操作系统类型以及操作系统的版本类型。

结合本发明实施例第一方面的第一种可能的实现方式，在本发明实施例第一方面的第二种可能的实现方式中，所述将所述指纹库划分为至少一个指纹模块，具体包括：