[发明专利]用于避免大数据存储系统进入访问失衡状态的方法及系统

权利要求书

1.一种用于避免大数据存储系统进入访问失衡状态的方法，所述方法包括：

基于当前的统计时间区间和大数据存储系统内多个存储设备中每个存储设备的运行日志文件确定每个存储设备中存储的多个数据项的经过统计的访问信息，根据每个存储设备中存储的多个数据项的经过统计的访问信息确定每个存储设备的访问信息统计文件；其中所述访问信息统计文件包括数据项统计表，所述数据项统计表包括多个数据项记录，其中每个数据项记录的内容为6元组数据项的标识符、被访问次数、统计起始时间、统计结束时间、存储尺寸、存储起始时间；

对每个存储设备的访问信息统计文件进行解析，将当前的统计时间区间内每个存储设备的所有数据项中被访问次数小于低频次数阈值Lthreshod的数据项确定为低频数据项，确定每个存储设备所包括的低频数据项的低频项数量；将多个存储设备中低频项数量大于低频设备阈值的存储设备确定为低频存储设备并确定大数据存储系统中低频存储设备的数量；

基于每个低频存储设备的访问信息统计文件，确定每个低频存储设备的每个低频数据项的存储尺寸和被访问次数并且确定每个低频存储设备的低频数据项的低频项数量，基于每个低频存储设备的访问信息统计文件确定每个低频存储设备各自的所有数据项的总被访问次数；根据每个低频存储设备的标识符和大数据存储系统的系统记录设备中的设备描述信息确定每个低频存储设备各自的总存储容量，和根据大数据存储系统的系统记录设备中的设备描述信息大数据存储系统中所有存储设备的总数量，

计算大数据存储系统内低频存储设备的平衡系数：

其中α0，β0，χ0并且α+β+χ＝1

其中，DLB是大数据存储系统内低频存储设备的平衡系数；

LTN_i为第i个低频存储设备的低频数据项的低频项数量，LDN为大数据存储系统中低频存储设备的数量；LTS_ij为第i个低频存储设备内第j个低频数据项的存储尺寸，LS_i为第i个低频存储设备的所有低频数据项的总存储尺寸，LC_i为第i个低频存储设备的总存储容量，

LTA_ij为第i个低频存储设备内第j个低频数据项的被访问次数，LA_i为第i个低频存储设备的所有低频数据项的总被访问次数，LT_i为 第i个低频存储设备的所有数据项的总被访问次数；

D_total为大数据存储系统中所有存储设备的总数量；

其中i为自然数，LDN≥i≥1并且j为自然数，LTN_i≥j≥1，其中LDN≥100，并且LTN_i≥100；

当大数据存储系统内低频存储设备的平衡系数大于平衡预警阈值时，确定每个低频存储设备中所有数据项的平均被访问次数Lavg_i，计算每个低频存储设备的平均被访问次数Lavg_i与低频次数阈值Lthreshod的比值R_i；

其中LDN≥i≥1，

将大数据存储系统内所有低频存储设备中R_i大于1.2的低频存储设备确定为选定组合的低频存储设备，将大数据存储系统内所有低频存储设备中R_i小于或等于1.2的低频存储设备确定为多元组合的低频存储设备，

针对于多个选定组合的低频存储设备中的每个选定组合的低频存储设备进行处理，以避免大数据存储系统进入访问失衡状态：

将所有数据项中被访问次数大于低频次数阈值Lthreshod×1.5的数据项确定为待选数据项以获得多个待选数据项并由多个待选数据项构成待选数据项集合，确定所有数据项中被访问次数小于低频次数阈值Lthreshod的多个低频数据项，按照被访问次数的升序顺序将多个低频数据项进行排序以生成第一排序列表，将第一排序列表中排序为第1位的低频数据项作为当前低频数据项，

1.1、基于当前低频数据项的摘要信息与待选数据项集合中每个待选数据项的摘要信息进行内容匹配，以确定当前低频数据项与每个待选数据项的匹配度；

1.2、将所有待选数据项中与当前低频数据项的匹配度最大的待选数据项和当前低频数据项进行数据项组合，以形成一个新的数据项，将新的数据项保存到空闲存储空间中；

1.3、从所述待选数据项集合中删除与当前低频数据项的匹配度最大的待选数据项；

1.4、确定所述第一排序列表中是否存在排序在当前低频数据项后1位的低频数据项，如果存在，则进行步骤1.5；如果不存在，则结束；

1.5、将所述第一排序列表中排序在当前低频数据项后1位的低频数据项选择作为当前低频数据项，进行步骤1.1；

针对于多个多元组合的低频存储设备中的每个多元组合的低频存储设备进行处理，以避免大数据存储系统进入访问失衡状态：

确定所有数据项中被访问次数小于低频次数阈值Lthreshod的多个低频数据项并且确定低频数据项的低频项数量Z，按照被访问次数的升序顺序将所有低频数据项进行排序以生成第二排序列表，从第二排序列表中排序为第1位的低频数据项开始并且按照升序顺序从第二排序列表中选择Y个低频数据项，其中Y MOD 3＝0，并且0≤Z-Y3；

按照低频数据项的被访问次数将所述Y个低频数据项分成第一预选数据项组、第二预选数据项组和第三预选数据项组，其中第一预选数据项组、第二预选数据项组和第三预选数据项组所包括的低频数据项的数量均相同，并且第一预选数据项组中被访问次数最少的低频数据项的被访问次数大于或等于第二预选数据项组中任意低频数据项的被访问次数，第二预选数据项组中被访问次数最少的低频数据项的被访问次数大于或等于第三预选数据项组中任意低频数据项的被访问次数；

2.1、从第一预选数据项组、第二预选数据项组和第三预选数据项组中分别挑选一个低频数据项，将所挑选的三个低频数据项组成一个新的数据项，将新的数据项保存到空闲存储空间中；

2.2、在第一预选数据项组、第二预选数据项组和第三预选数据项组中分别删除在步骤2.1中所挑选的一个低频数据项；

2.3、确定第一预选数据项组、第二预选数据项组和第三预选数据项组是否均包括低频数据项，如果是，则进行步骤2.1；如果否，则结束；还包括:

当用于指示在大数据存储系统内进行失衡预警检测的循环计时器期满时，或当接收到在大数据存储系统内进行失衡预警检测的请求时，将所述大数据存储系统从任意的数据请求方所接收的新的数据访问请求重定向到所述大数据存储系统的系统缓冲设备而不将所接收的新的数据访问请求发送给多个存储设备中的相应的存储设备，以由所述系统缓冲设备将新的数据访问请求所包含的查询条件的描述信息与所述系统缓冲设备的临时数据项集合中的每个临时数据项进行内容匹配以确定每个临时数据项的内容匹配度，从多个临时数据项中选择内容匹配度大于匹配度阈值的至少一个选定的临时数据项，将所选择的至少一个选定的临时数据项发送给所述新的数据访问请求所指示的数据请求方，并且在所述系统缓冲设备的缓冲区内保存所述新的数据访问请求；

在确定所述大数据存储系统内的所有存储设备中均没有正在运行的数据访问操作时，获取所述大数据存储系统内多个存储设备中每个存储设备的运行日志文件；

在针对于多个选定组合的低频存储设备中的每个选定组合的低频存储设备进行处理，以避免大数据存储系统进入访问失衡状态之后，或者在针对于多个多元组合的低频存储设备中的每个多元组合的低频存储设备进行处理，以避免大数据存储系统进入访问失衡状态之后，还包括：

根据系统缓冲设备的缓冲区中多个数据访问请求的当前排队顺序对缓冲区中的每个数据访问请求进行数据访问操作；

在确定系统缓冲设备的缓冲区中不具有被保存的任何数据访问请求的情况下，对所述大数据存储系统从任意的数据请求方所接收的新的数据访问请求进行解析以获新的查询条件；

在所述大数据存储系统的目录存储服务器中确定所述新的查询条件所涉及的多个数据项，并确定多个数据项所涉及的至少一个目标存储设备；

将所述新的查询条件发送给每个目标存储设备，并且从每个目标存储设备接收符合所述新的查询条件的至少一个数据项；

将从每个目标存储设备所接收的所有数据项组成目标数据项集合，并且将所述目标数据项集合发送给所述新的数据访问请求所指示的数据请求方。