[发明专利]用于避免大数据存储系统进入访问失衡状态的方法及系统

说明书

本发明公开了一种用于避免大数据存储系统进入访问失衡状态的方法及系统，其中方法包括：根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；计算大数据存储系统内低频存储设备的平衡系数；当大数据存储系统内低频存储设备的平衡系数大于平衡预警阈值时，从大数据存储系统内所有低频存储设备中确定选定组合的低频存储设备和多元组合的低频存储设备，针对于多个选定组合的低频存储设备中的每个选定组合的低频存储设备进行处理，或针对于多个多元组合的低频存储设备中的每个多元组合的低频存储设备进行处理，以避免大数据存储系统进入访问失衡状态。

技术领域

本发明涉及大数据存储领域和云存储领域，并且更具体地，涉及一种用于避免大数据存储系统进入访问失衡状态的方法及系统。

背景技术

目前，随着各种类型的信息设备的使用变得越来越频繁，数据量正以几何级数的方式进行爆炸式增加。为了从海量的数据中获取有用信息，必须对海量的数据进行有效存储。大数据存储系统能够满足对对海量数据进行有效存储的需求。然而，在目前的大数据存储系统中，由于每个数据项的被访问次数不同,会导致存储设备之间的数据被访问次数的失衡，进而导致大数据系统的数据平衡性出现访问失衡的问题。为此，现有技术中存在对避免大数据存储系统进入访问失衡状态的需求。

发明内容

根据本发明的一个方面，提供一种用于避免大数据存储系统进入访问失衡状态的方法，所述方法包括：基于当前的统计时间区间和大数据存储系统内多个存储设备中每个存储设备的运行日志文件确定每个存储设备中存储的多个数据项的经过统计的访问信息，根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；其中所述访问信息统计文件包括数据项统计表，所述数据项统计表包括多个数据项记录，其中每个数据项记录的内容为6元组数据项的标识符、被访问次数、统计起始时间、统计结束时间、存储尺寸、存储起始时间；

对每个存储设备的访问信息统计文件进行解析，将当前的统计时间区间内每个存储设备的所有数据项中被访问次数小于低频次数阈值Lthreshod的数据项确定为低频数据项，确定每个存储设备所包括的低频数据项的低频项数量；将多个存储设备中低频项数量大于低频设备阈值的存储设备确定为低频存储设备并确定大数据存储系统中低频存储设备的数量；

基于每个低频存储设备的访问信息统计文件，确定每个低频存储设备的每个低频数据项的存储尺寸和被访问次数并且确定每个低频存储设备的低频数据项的低频项数量，基于每个低频存储设备的访问信息统计文件确定每个低频存储设备各自的所有数据项的总被访问次数；根据每个低频存储设备的标识符和大数据存储系统的系统记录设备中的设备描述信息确定每个低频存储设备各自的总存储容量,和根据大数据存储系统的系统记录设备中的设备描述信息大数据存储系统中所有存储设备的总数量，计算大数据存储系统内低频存储设备的平衡系数：

其中α0,β0,χ0并且α+β+χ＝1

其中，DLB是大数据存储系统内低频存储设备的平衡系数；

LTN_i为第i个低频存储设备的低频数据项的低频项数量，LDN为大数据存储系统中低频存储设备的数量；LTS_ij为第i个低频存储设备内第j个低频数据项的存储尺寸，LS_i为第i个低频存储设备的所有低频数据项的总存储尺寸，LC_i为第i个低频存储设备的总存储容量，

LTA_ij为第i个低频存储设备内第j个低频数据项的被访问次数，LA_i为第i个低频存储设备的所有低频数据项的总被访问次数，LT_i第i个低频存储设备的所有数据项的总被访问次数；

D_total为大数据存储系统中所有存储设备的总数量；