[发明专利]一种重复数据删除方法、装置及系统

说明书

技术领域

本发明属于数据库技术领域，尤其涉及一种重复数据删除方法、装置及系统。

背景技术

内存数据库是一类将数据库中的数据完全放在内存中的新型数据库，由于所有的操作均在内存中完成，因此，相比传统基于内存的数据库，内存数据库在性能方面具有不可比拟的巨大优势，十分适合对于性能要求极高的应用场合。与此同时，内存数据库通过持续数据保护，定期自动将当前数据备份至外部存储器，以避免出现断电等故障会造成内存中的数据丢失的情况。由于内存数据库需要向外界提供极高的访问性能，因此内存数据库备份当前数据必须在极短的时间内完成。

然而，现有内存数据库通过持续数据保护，会将当前数据中的重复数据备份至外部存储器，而当前数据中的重复数据是内存数据库不需要备份的，备份重复数据既浪费了外部存储器的存储空间，又降低了内存数据库备份当前数据的效率，使得内存数据库备份当前数据无法在极短的时间内完成。若内存数据库对当前数据中重复数据进行删除，则需要通过遍历当前数据的方式，以判断某个当前数据中是否存在重复数据，但在内存数据库中，只会显示当前数据各个数据块的名称、创建日期等，内存数据库无法通过这些信息，准确判断当前数据是否存在重复数据，导致备份重复数据浪费了外部存储器的存储空间，降低内存数据库备份当前数据的效率。

发明内容

本发明实施例的目的在于提供一种重复数据删除方法，旨在解决现有的内存数据库在持续数据保护时，会将当前数据中的重复数据备份至外部存储器，导致备份重复数据浪费了外部存储器的存储空间，降低了内存数据库备份当前数据的效率，使得内存数据库备份当前数据无法在极短的时间内完成的问题。

本发明实施例是这样实现的，一种重复数据删除方法，包括：

内存数据库在缓存区中，缓存待写入外部存储器的数据页；

在将缓存中的数据页写入所述外部存储器时，调取所述数据页；

根据SHA安全散列算法，对调取到的所述数据页中的数据进行压缩映射，生成所述数据页对应的指纹值；

在预置的指纹索引表中，查找是否存在所述指纹值；

若在预置的指纹索引表中存在所述指纹值时，判断所述数据页为冗余页，不将所述数据页写入所述外部存储器中的数据文件，将所述数据页对应的指纹值写入所述外部存储器中的备份信息文件；

其中，所述数据文件中保存了所述内存数据库的数据页；

其中，所述备份信息文件中保存了本次备份所述数据页对应的指纹值；

其中，所述指纹值在所述备份信息文件中，按照所述数据页在写入外部存储器时的顺序排列；

其中，所述指纹索引表中包括已写入所述数据文件的数据页对应的指纹值，以及已写入所述数据文件的数据页对应的指纹值，在所述数据文件中的数据页偏移量。

本发明实施例的另一目的在于提供一种重复数据删除装置，包括：

缓存单元，用于在缓存区中，缓存待写入外部存储器的数据页；

调取单元，用于在将缓存中的数据页写入所述外部存储器时，调取所述数据页；

生成单元，用于根据SHA安全散列算法，对调取到的所述数据页中的数据进行压缩映射，生成所述数据页对应的指纹值；

查找单元，用于在预置的指纹索引表中，查找是否存在所述指纹值；

第一写入单元，用于若在预置的指纹索引表中存在所述指纹值时，判断所述数据页为冗余页，不将所述数据页写入所述外部存储器中的数据文件，将所述数据页对应的指纹值写入所述外部存储器中的备份信息文件；

其中，所述数据文件中保存了所述内存数据库的数据页；

其中，所述备份信息文件中保存了本次备份所述数据页对应的指纹值；

其中，所述指纹值在所述备份信息文件中，按照所述数据页在写入外部存储器时的顺序排列；

其中，所述指纹索引表中包括已写入所述数据文件的数据页对应的指纹值，以及已写入所述数据文件的数据页对应的指纹值，在所述数据文件中的数据页偏移量。

在本发明实施例中，若在预置的指纹索引表中存在指纹值，判断数据页为冗余页，不将数据页写入所述外部存储器中的数据文件，解决了内存数据库在持续数据保护时，会将当前数据中的重复数据备份至外部存储器，导致备份重复数据浪费了外部存储器的存储空间，降低了内存数据库备份当前数据的效率的问题。其有益效果在于两方面，一方面，节省了外部存储器的存储空间；另一方面，提高了内存数据库备份当前数据的效率。

附图说明

图1是本发明实施例提供的重复数据删除方法的实现流程图；