[发明专利]一种在大数据存储系统中进行数据混合存储的方法及系统

说明书

本发明公开了一种在大数据存储系统中进行数据混合存储的方法及系统，其中方法包括：根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；将多个存储设备中低频项数量大于低频设备阈值的存储设备确定为低频存储设备并确定大数据存储系统中低频存储设备的数量；当大数据存储系统中低频存储设备的数量大于系统预警阈值时，确定复制数据项集合并将复制数据项集合传送给所述多个存储设备中的每个存储设备，并促使每个存储设备进行处理，以实现数据混合存储。

技术领域

本发明涉及大数据存储领域和云存储领域，并且更具体地，涉及一种在大数据存储系统中进行数据混合存储的方法及系统。

背景技术

目前，随着各种类型的信息设备的使用变得越来越频繁，数据量正以几何级数的方式进行爆炸式增加。为了从海量的数据中获取有用信息，必须对海量的数据进行有效存储。大数据存储系统能够满足对对海量数据进行有效存储的需求。然而，在目前的大数据存储系统中，由于每个数据项的被访问次数不同,从而导致每个存储设备中不同的数据项的被访问次数差距会越来越大。进一步地，这种差距会导致存储设备之间的数据被访问次数的失衡，进而导致大数据系统的数据平衡性出现访问失衡的问题。为此，现有技术中存在对对大数据存储系统中的数据进行混合存储的需求。

发明内容

根据本发明的一个方面，提供一种在大数据存储系统中进行数据混合存储的方法，所述方法包括：

基于当前的统计时间区间和大数据存储系统内多个存储设备中每个存储设备的运行日志文件确定每个存储设备中存储的多个数据项的经过统计的访问信息，根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；其中所述访问信息统计文件包括数据项统计表，所述数据项统计表包括多个数据项记录，其中每个数据项记录的内容为6元组<数据项的标识符、被访问次数、统计起始时间、统计结束时间、存储尺寸、存储起始时间>；

对每个存储设备的访问信息统计文件进行解析，将当前的统计时间区间内每个存储设备的所有数据项中被访问次数小于低频次数阈值Lthreshod的数据项确定为低频数据项，确定每个存储设备所包括的低频数据项的低频项数量；将多个存储设备中低频项数量大于低频设备阈值的存储设备确定为低频存储设备并确定大数据存储系统中低频存储设备的数量；基于每个存储设备的访问信息统计文件确定每个存储设备所包括的所有数据项的数据项数量TN_i；其中i为自然数并且DN≥i≥1，其中DN为大数据存储系统中所有存储设备的总数量；

当大数据存储系统中低频存储设备的数量大于系统预警阈值时，获取大数据存储系统的系统缓冲设备内的匹配统计文件，基于所述匹配统计文件确定系统缓冲设备内临时数据项集合中每个临时数据项在当前的统计时间区间内进行多次内容匹配时的内容匹配度的算术和，基于每个临时数据项在当前的统计时间区间内的内容匹配度的算术和的降序顺序对每个临时数据项进行排序，以生成第一排序列表，

根据大数据存储系统的系统记录设备中的设备描述信息确定大数据存储系统中所有存储设备的总数量DN，在所述第一排序列表中从内容匹配度的算术和最大的临时数据项开始并且按照内容匹配度的算术和的降序顺序从所述第一排序列表选择2×DN个临时数据项，将所述2×DN个临时数据项组成第一数据项集合；其中临时数据项集合中的临时数据项的总数大于10×DN；

按照被访问次数的降序顺序对每个存储设备中各自的所有数据项进行排序，以生成多个第二排序列表，根据每个存储设备所包括的所有数据项的数据项数量TN_i从每个存储设备的第二排序列表选择多个数据项：

其中,在第i个存储设备的第二排序列表中，从被访问次数最大的数据项开始并且按照被访问次数的降序顺序选择个数据项；

将在每个存储设备的所有数据项中分别选择的个数据项组成第二数据项集合，

其中第二数据项集合中包括个数据项；