[发明专利]一种减少数据冗余的方法及装置

说明书

本发明实施例提供的一种减少数据冗余的方法及装置，方法包括：将接收到的数据存储至缓存中，并生成记录表；查询记录表，检验缓存中存储的数据是否失效；如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。本发明实施例相比于现有技术在数据未存储至数据库之前，首先将数据存储至缓存中，并生成记录表，由于访问缓存的速度相比于访问数据库的速度快，通查询记录表确定冗余数据，不用查询数据库中所有数据确定冗余数据。因此，可以提高减少数据库中数据冗余的效率。

技术领域

本发明涉及计算机技术领域，特别是涉及一种减少数据冗余的方法及装置。

背景技术

开发过程中常常需要多次访问、存储数据，冗余数据是进行了多次的重复存储，冗余数据不仅占用了大量的储存空间，同时降低了对数据的操作的效率。

现有技术通过查询冗余数据的名称、属性或者在计算所有数据的哈希值，找出冗余数据，然后进行删除冗余数据，以此减少数据库中的数据冗余。

由于数据库中的数据数量巨大，查找并删除冗余数据耗费的时间较长，因此现有技术减少数据冗余的效率不高。

发明内容

本发明实施例的目的在于提供一种减少数据冗余的方法及装置，通过记录表查找冗余数据，将缓存中的冗余数据删除，以提高减少数据冗余的效率。具体技术方案如下：

第一方面，本发明实施例提供了一种减少数据冗余的方法，包括：

将接收到的数据存储至缓存中，并生成记录表；

查询所述记录表，检验缓存中存储的数据是否失效；

如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。

可选的，所述查询所述记录表，检验缓存中存储的数据是否失效，包括：

按照预设的周期，查询所述记录表，检验缓存中存储的数据的存储时间是否已过有效期；所述记录表用于记录数据存储至缓存中的存储时间；

所述如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中，包括：

如果缓存中存储的数据的存储时间已过有效期，则缓存中存储的数据失效，将失效的数据作为冗余数据删除，并将缓存中除冗余数据以外的剩余数据存储至数据库中。

可选的，所述查询所述记录表，检验缓存中存储的数据是否失效，包括：

按照预设的周期，查询所述记录表，按照数据等级从低到高，检验缓存中所述数据的存储时间是否已过有效期；所述记录表用于记录存储至缓存中数据的大小及记录数据存储至缓存中的存储时间；所述数据等级是基于数据的大小划分的；

所述如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中，包括：

如果缓存中所述数据的存储时间已过有效期，则所述缓存中存储的数据失效，将所述失效的数据作为冗余数据，按照数据等级从低到高删除冗余数据，并将所述缓存中除冗余数据以外的剩余数据存储至数据库中。

可选的，所述查询所述记录表，检验缓存中存储的数据是否失效，包括：

按照预设的周期，查询所述记录表，检验缓存中是否存在数据等级及数据名称相同的数据；所述记录表用于记录存储至缓存中数据的名称及数据的等级；所述数据等级是基于数据的大小划分的；

所述如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中，包括：