[发明专利]一种分布式系统热点数据的管理方法

权利要求书

1.一种分布式系统热点数据的管理方法，其特征在于包括：

步骤1，输入一段数据访问请求流，基于三阶段流式热点数据探测算法进行数据抽样、数据过滤以及数据统计，获得所述请求流中的热点数据集合；

步骤2，基于集群负载均衡法对任意时刻所述分布式系统的整个集群负载情况进行分析；

步骤3，根据所述步骤2的分析结果确定是否建立所述热点数据集合的副本，如果确定建立，则基于副本自适应方法建立符合数据访问请求流的时间特征的所述热点数据集合的副本；所述步骤1中所述三阶段流式热点数据探测算法的所述数据抽样采用简单随机抽样；所述步骤1中所述三阶段流式热点数据探测算法的所述数据过滤采用改良多重布隆过滤器，在传统的布隆过滤器基础上，将过滤器的数量从1个拓展至k个，并且将传统布隆过滤器中的0/1标志位替换为整数计数器，过滤器上任意位置被访问一次，则对应的计数器值加一，当请求被抽样后，对一个数据请求进行分析时，由k个哈希函数对数据对象的key进行计算，生成k个不同的值组成数组P＝[p1,p2,…pk]，对应k个不同的位置；在拓展至k个过滤器的计数器数组中，依次从数组P中取出值，作为对应计数器数组的对应位置，获取该位置计数器的值，得到计数器值数组V[v1,v2,…vk]；对于数组V中的元素，若最小的元素值大于多重布隆计数器的阈值Threshold，则此数据对象通过过滤，通过过滤的数据作为频繁数据进入下一个阶段；所述步骤1中所述三阶段流式热点数据探测算法的所述数据统计基于时间窗口进行热点数据探测，在经历了数据抽样和数据过滤后，仍然留存的数据为频繁数据，所述频繁数据有成为热点数据的可能，为了体现所述热点数据的强时间特征，数据统计阶段将频繁数据对应的请求序列按照时间窗口划分，通过设定时间窗口的长度s，将发生时间相近的数据请求归为同一个处理集合sr，对于某一个sr集合，其中的任意一个数据请求r将会计算一个衡量参数f，计算公式如下：

f＝df+pf

其中df代表了当前数据内容在当前时间窗口的访问次数，pf代表了当前数据内容在上一个时间窗口的访问次数，当数据请求r中的数据内容的衡量参数f大于数据统计阶段的Threshold-3，则将其判断为热点数据；数据统计阶段维护了一个长度为k的计数器池C；当出现了新的热点数据后，如果数据对象不在计数器池中，而且当前计数器池中数据对象的数目小于计数器池的最大长度k，则将当前数据对象放入计数器池中；如果数据对象不在计数器池中而且当前计数器池中数据对象的数目已经达到计数器池的最大长度，则对于当前计数器池中的所有数据对象，对应的计数器值减1，如果出现某个数据对象对应的计数器值为0，则将该数据对象移出计数器池，为了将时间参数与数据的访问情况向匹配，计数器池C中的计数器数字在每进行一轮新的数据统计阶段时，将减少为之前的1/2，向下取整。

2.根据权利要求1所述的一种分布式系统热点数据的管理方法，其特征在于：所述步骤2中所述集群负载均衡法包括：

对任意时刻集群负载的情况作出评估，当集群完全负载均衡时，所有数据服务器节点的负载均等于平均负载量，通过考察集群不均衡系数avg衡量集群负载是否均衡，在本系统的集群负载均衡法中，所述avg的值等于各个数据服务器的负载量与集群平均负载量之差的绝对值之和占总负载的比率，计算公式如下：

其中，load_i表示每一个机器的负载量，l为集群负载量的平均值，n为集群机器个数；当负载不均衡系数avg大于系统设定的阈值时，从热点数据挖掘方法中得到的热点数据开始进行副本创建和副本分配；否则不进行任何与数据副本相关的操作，从而节约了整个系统的资源消耗。

3.根据权利要求1所述的一种分布式系统热点数据的管理方法，其特征在于所述步骤3中所述副本自适应方法包括：当一次热点数据的挖掘结束后，检查每一个当前挖掘出的热点数据对象，如果数据对象在之前的热点数据挖掘中没有被判定为热点数据，则该热点数据的副本创建数量为1；如果数据对象在之前的热点数据挖掘中已经被判定为热点数据，则将该数据对应的副本创建数量加倍；之后对已经存在副本的数据对象进行检查，如果存在数据对象在本次热点数据挖掘中并没有被判断为热点数据，当本次时间窗口该数据未被访问，则将该数据设置为未访问状态，否则不改变其副本创建数量；当已创建副本的数据对象在多个时间窗口中均为未访问状态时，每经过一个时间窗口，该数据对象的副本创建数量以之前增长的方式减少，直到其副本创建数量小于1时，该数据不再拥有副本。