[发明专利]一种重复数据删除方法、装置及系统

权利要求书

1.一种重复数据删除方法，其特征在于，包括：

内存数据库在缓存区中，缓存待写入外部存储器的数据页；

在将缓存中的数据页写入所述外部存储器时，调取所述数据页；

根据SHA安全散列算法，对调取到的所述数据页中的数据进行压缩映射，生成所述数据页对应的指纹值；

在预置的指纹索引表中，查找是否存在所述指纹值；

若在预置的指纹索引表中存在所述指纹值时，判断所述数据页为冗余页，不将所述数据页写入所述外部存储器中的数据文件，将所述数据页对应的指纹值写入所述外部存储器中的备份信息文件；

其中，所述数据文件中保存了所述内存数据库的数据页；

其中，所述备份信息文件中保存了本次备份所述数据页对应的指纹值；

其中，所述指纹值在所述备份信息文件中，按照所述数据页在写入外部存储器时的顺序排列；

其中，所述指纹索引表中包括已写入所述数据文件的数据页对应的指纹值，以及已写入所述数据文件的数据页对应的指纹值，在所述数据文件中的数据页偏移量；

其中，在预置的指纹索引表中，查找是否存在待写入外部存储器的数据页的指纹值，以判断待写入外部存储器的数据页是否与已写入数据文件的数据页重复。

2.根据权利要求1所述的重复数据删除方法，其特征在于，在预置的指纹索引表中，查找是否存在所述指纹值之后，还包括：

若在预置的指纹索引表中不存在所述指纹值时，判断所述数据页不为冗余页，将所述数据页写入所述数据文件；

获取所述数据页在所述数据文件中的数据页偏移量；

将所述数据页对应的指纹值以及所述数据页在所述数据文件中的数据页偏移量写入指纹索引表中，并将所述数据页对应的指纹值写入内存备份信息文件。

3.根据权利要求1或2所述的重复数据删除方法，其特征在于，还包括：

接收选择的备份点；

根据接收到的备份点读取所述备份信息文件，在所述备份信息文件中，逐个读取所述指纹值；

每读取一条所述指纹值，通过所述指纹值，在所述指纹索引表中，查找与所述指纹值对应的数据页偏移量；

根据所述数据页偏移量和数据页大小，在所述数据文件中读取所述数据页中的数据，并将读取到的数据加载到内存中，以还原所述内存数据库中的数据页。

4.根据权利要求1所述的重复数据删除方法，其特征在于，所述内存数据库在缓存区中，缓存待写入外部存储器的数据页，具体为：

所述内存数据库在缓存区中，缓存待写入外部存储器的数据页，同时将外界的数据请求事件存放在一个缓存队列中，以停止处理外界的数据请求事件。

5.根据权利要求1所述的重复数据删除方法，其特征在于，还包括：

读取系统时间和配置的执行时限，判断执行时限是否到达；

在所述执行时限到达时，执行所述内存数据库在缓存区中，缓存待写入外部存储器的数据页的步骤。

6.一种重复数据删除装置，其特征在于，包括：

缓存单元，用于在缓存区中，缓存待写入外部存储器的数据页；

调取单元，用于在将缓存中的数据页写入所述外部存储器时，调取所述数据页；

生成单元，用于根据SHA安全散列算法，对调取到的所述数据页中的数据进行压缩映射，生成所述数据页对应的指纹值；

查找单元，用于在预置的指纹索引表中，查找是否存在所述指纹值；

第一写入单元，用于若在预置的指纹索引表中存在所述指纹值时，判断所述数据页为冗余页，不将所述数据页写入所述外部存储器中的数据文件，将所述数据页对应的指纹值写入所述外部存储器中的备份信息文件；

其中，所述数据文件中保存了所述内存数据库的数据页；

其中，所述备份信息文件中保存了本次备份所述数据页对应的指纹值；

其中，所述指纹值在所述备份信息文件中，按照所述数据页在写入外部存储器时的顺序排列；

其中，所述指纹索引表中包括已写入所述数据文件的数据页对应的指纹值，以及已写入所述数据文件的数据页对应的指纹值，在所述数据文件中的数据页偏移量；

其中，在预置的指纹索引表中，查找是否存在待写入外部存储器的数据页的指纹值，以判断待写入外部存储器的数据页是否与已写入数据文件的数据页重复。