[发明专利]识别大数据存储系统中的低访问度存储设备的方法及系统

说明书

本发明公开了一种用于识别大数据存储系统中的低访问度存储设备的方法及系统，其中方法包括：在确定所述大数据存储系统内的所有存储设备中均没有正在运行的数据访问操作时，确定每个存储设备的访问信息统计文件；基于低频项数量、每个低频数据项的存储尺寸、每个存储设备的总存储容量、每个存储设备的空闲存储容量、具有最大存储尺寸的低频存储项和具有最小存储尺寸的低频存储项计算每个存储设备的低频访问度:将多个存储设备中低频访问度大于访问度阈值的存储设备确定为低访问度存储设备。

技术领域

本发明涉及大数据存储领域和云存储领域，并且更具体地，涉及一种识别大数据存储系统中的低访问度存储设备的方法及系统。

背景技术

目前，随着各种类型的信息设备的使用变得越来越频繁，数据量正以几何级数的方式进行爆炸式增加。为了从海量的数据中获取有用信息，必须对海量的数据进行有效存储。大数据存储系统能够满足对对海量数据进行有效存储的需求。然而，在目前的大数据存储系统中，由于部分存储设备中的低频数据项(被访问次数较少的数据项)会导致存储设备整体上的访问效率或数据使用率较低。当这种包括低频数据项过多的存储设备的数量不断增加时，大数据存储系统的数据访问效率会严重降低。

发明内容

根据本发明的一个方面，提供一种用于识别大数据存储系统中的低访问度存储设备的方法，所述方法包括：

响应于接收到在大数据存储系统内的多个存储设备中识别低访问度存储设备的识别请求，将所述大数据存储系统从任意的数据请求方所接收的新的数据访问请求重定向到所述大数据存储系统的系统缓冲设备而不将所接收的新的数据访问请求发送给多个存储设备中的相应的存储设备，以由所述系统缓冲设备将新的数据访问请求所包含的查询条件的描述信息与所述系统缓冲设备的临时数据项集合中的每个临时数据项进行内容匹配以确定每个临时数据项的内容匹配度，从多个临时数据项中选择内容匹配度大于匹配度阈值的至少一个选定的临时数据项，将所选择的至少一个选定的临时数据项发送给所述新的数据访问请求所指示的数据请求方，并且在所述系统缓冲设备的缓冲区内保存所述新的数据访问请求；

在确定所述大数据存储系统内的所有存储设备中均没有正在运行的数据访问操作时，获取所述大数据存储系统内多个存储设备中每个存储设备的运行日志文件，并且基于当前的统计时间区间和每个存储设备的运行日志文件确定每个存储设备中存储的多个数据项的经过统计的访问信息，根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；其中所述访问信息统计文件包括数据项统计表，所述数据项统计表包括多个数据项记录，其中每个数据项记录的内容为6元组<数据项的标识符、被访问次数、统计起始时间、统计结束时间、存储尺寸、存储起始时间>；

基于所述访问信息统计文件确定当前的统计时间区间内每个存储设备的所有数据项中被访问次数低于低频次数阈值的多个低频数据项，并确定每个存储设备中低频数据项的低频项数量以及每个低频数据项的存储尺寸；根据每个存储设备的每个低频数据项的存储尺寸确定每个存储设备的多个低频数据项中具有最大存储尺寸的低频存储项和具有最小存储尺寸的低频存储项；

根据大数据存储系统的系统记录设备中的设备描述信息确定每个存储设备的总存储容量和大数据存储系统中所有存储设备的总数量，根据每个存储设备的存储信息区域中的存储信息文件来确定每个存储设备的空闲存储容量；

基于低频项数量、每个低频数据项的存储尺寸、每个存储设备的总存储容量、每个存储设备的空闲存储容量、具有最大存储尺寸的低频存储项和具有最小存储尺寸的低频存储项计算每个存储设备的低频访问度: