[发明专利]数据存储管理方法、装置和计算机可读存储介质

说明书

本公开涉及一种数据存储管理方法、装置和计算机可读存储介质，涉及数据存储技术领域。本公开的方法包括：获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数；根据数据存储单元在对应的预设时间区间内的访问次数，确定数据存储单元是否属于待销毁存储单元；在数据存储单元属于待销毁存储单元的情况下，发出待销毁提醒。本公开的方法能够自动对大数据集群中的数据存储进行有效管理，及时将不再需要的数据存储单元进行销毁，释放存储空间，提高数据的查询效率和数据存储管理的效率。

技术领域

本公开涉及数据存储技术领域，特别涉及一种数据存储管理方法、装置和计算机可读存储介质。

背景技术

随着互联网技术的发展，数据呈现爆炸式增长。数据可以存储于大数据集群或者数据仓库中，用户可以进行查询、添加、删除等操作。

目前，随着数据量不断增加，工作人员可能根据实际需求对数据进行筛查，将一些不需要的数据存储单元进行删除。

发明内容

发明人发现：由工作人员进行数据筛查费时费力，可能造成误删除，当数据开发人员利用某一历史数据进行开发时，该数据有可能因为空间问题会删除，给开发人员开发带来困难。如果不进行存储管理和数据的删除，数据存储单元随着时间的推移越来越胖，数据的查询速度缓慢。

本公开所要解决的一个技术问题是：如何对数据存储进行有效管理，提高数据存储管理的效率。

根据本公开的一些实施例，提供的一种数据存储管理方法，包括：获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数；根据数据存储单元在对应的预设时间区间内的访问次数，确定数据存储单元是否属于待销毁存储单元；在数据存储单元属于待销毁存储单元的情况下，发出待销毁提醒。

在一些实施例中，获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数包括：周期性查询数据存储单元的最后一次访问时间；根据数据存储单元的最后一次访问时间的变化，更新访问次数的记录；根据访问次数的记录确定在对应的预设时间区间内的访问次数。

在一些实施例中，获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数包括：在数据存储单元为数据表的情况下，根据数据表所处的时间阶段，获取数据表在时间阶段对应的预设时间区间内的访问次数；其中，数据表被设置生命周期，生命周期被划分为多个时间阶段。

在一些实施例中，获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数包括：在数据存储单元为分区文件的情况下，每隔预设时间段获取分区文件在对应的预设时间区间内的访问次数。

在一些实施例中，根据数据存储单元在对应的预设时间区间内的访问次数，确定数据存储单元是否属于待销毁存储单元包括：在数据存储单元为数据表的情况下，根据数据表所处的时间阶段获取时间阶段对应的第一访问次数阈值；在数据表在对应的预设时间区间内的访问次数小于或等于第一访问次数阈值的情况下，确定数据表属于待销毁存储单元；其中，不同时间阶段对应的第一访问次数阈值相同或不同。

在一些实施例中，根据数据存储单元在对应的预设时间区间内的访问次数，确定数据存储单元是否属于待销毁存储单元包括：在数据存储单元为分区文件的情况下，在分区文件在对应的预设时间区间内的访问次数小于或等于第二访问次数阈值的情况下，确定分区文件属于待销毁存储单元。

在一些实施例中，该方法还包括：根据数据表在时间阶段对应的预设时间区间内的访问次数，将数据表分配至不同的存储设备进行存储。

在一些实施例中，将数据存储单元分配至不同的存储设备进行存储包括：将数据表在时间阶段对应的预设时间区间内的访问次数与时间阶段对应的多个访问次数阈值进行比对，确定数据表的数据热度等级；根据数据表的数据热度等级，将数据表分配至对应性能的存储设备进行存储。