[发明专利]一种数据处理方法、装置和系统

说明书

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理方法、装置和系统。

背景技术

重复数据删除技术在本世纪初被提出后，迅速在各个存储企业中得到应用，成为存储技术的标志性功能。重复数据删除意指将相同的数据只存储一份以节省空间。重复数据删除可以有效地减少数据，降低存储成本。

现有的重复数据删除模块一般是集成在存储系统内部的，其过程一般是对数据库进行切片，计算每个切片的hash值(哈希值)，并根据hash值生成逻辑地址，从逻辑地址映射为物理地址存储。这种方法适用于新开发的存储系统，但对于一些老存储系统则不适用，需要对原存储系统的架构进行大量修改才能使其支持重复数据删除功能。

目前，现有技术还存在一种方案，可以实现一般的文件系统增加重复数据删除的功能。这种方案通过增加一个额外的数据库来维护重复数据的记录。当一个文件被写入文件系统时，这时并不对文件进行任何操作，而是保存全部数据。当数据保存后另外有一个进程对文件系统进行扫描，如果发现文件在一段时间内没有被访问过，对这个文件执行重复数据删除操作。由于这种操作是在文件被保存之后进行的，因此称为后重删。在后重删执行时，重删进程首先把这个文件读取出来，按照一定规则切分成不等长大小的块，然后把每块数据按照普通文件的方式保存，同时在数据库中记录该文件被拆分保存的信息。然后在文件元数据中加一个标志位，表示这个文件已经被重删过，所以以后读取这个文件时，并不会像普通文件一样直接读取磁盘，而是通过数据库找到其分片文件所在，然后再读取数据。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：现有技术提供的方案只能支持后重删，并不能进行实时重删。在第一次存储时，文件系统需要保存全部数据，即便有重复的数据也会保存多份。在执行重删进程时，需要将文件读取出来才能执行重删操作。这种方法使得重复的数据执行了多次读写操作，占用了大量的系统资源，并导致大量存储空间被浪费，并不能有效的节省存储空间。

发明内容

为解决上述技术问题，本发明实施例提供了一种数据处理方法和装置，可以方便地为一般的文件系统增加重复数据删除功能，所需的花销小，且支持实时重删功能，有效节省存储空间。

一方面，本发明实施例提供了一种数据处理方法，所述方法应用于数据处理装置，所述方法包括：

提供第一接口，通过所述第一接口接收来自应用程序的文件写操作请求；

将文件的数据切分成至少一个子数据块，获取各所述子数据块的唯一标识，分别将其与保存的唯一标识进行比较；如果相同，建立与所述保存的唯一标识相同的子数据块与所述保存的唯一标识对应的数据之间的链接；

如果不同，则保存所述与所述保存的唯一标识不同的子数据块的唯一标识，并且通过第二接口向存储系统发送数据写操作请求，所述数据写操作请求包括所述与所述保存的唯一标识不同的子数据块的数据，使得所述存储系统保存所述子数据块的数据。

另一方面，本发明实施例提供了一种数据处理装置，所述装置包括：

第一接口，用于接收来自应用程序的文件写操作请求；所述第一接口与第二接口为相同类型的接口，所述第二接口与存储系统相连；

元数据管理模块，用于存储文件的元数据以及文件分块信息；

重复数据删除模块，用于将通过第一接口接收的文件的数据切分成至少一个子数据块，获取各所述子数据块的唯一标识，分别将其与元数据管理模块中保存的唯一标识进行比较；如果相同，建立与所述保存的唯一标识相同的子数据块与所述元数据管理模块中保存的唯一标识对应的数据之间的链接；如果不同，则保存所述与所述保存的唯一标识不同的子数据块的唯一标识，并且通过第二接口向存储系统发送数据写操作请求，所述数据写操作请求包括所述与所述保存的唯一标识不同的子数据块的数据，使得所述存储系统保存所述子数据块的数据。

再一方面，本发明实施例还提供了一种数据处理系统，所述系统包括：

数据处理装置和存储系统，所述数据处理装置具有第一接口，所述数据处理装置通过第一接口接收来自应用程序的数据操作请求；所述存储系统具有第二接口，所述第二接口与第一接口为相同类型的接口，所述存储系统通过第二接口与数据处理装置交互，其中：