[发明专利]一种分布式系统热点数据的管理方法

说明书

本发明提供一种分布式系统热点数据的管理方法，包括：步骤1，输入一段数据访问请求流，基于三阶段流式热点数据探测算法进行数据抽样、数据过滤以及数据统计，获得所述请求流中的热点数据集合；步骤2，基于集群负载均衡法对任意时刻所述分布式系统的整个集群负载情况进行分析；步骤3，根据所述步骤2的分析结果确定是否建立所述热点数据集合的副本，如果确定建立，则基于副本自适应方法建立符合数据访问请求流的时间特征的所述热点数据集合的副本。通过结合流式处理数据在时间维度中的连续性，和已有热点数据挖掘方法中的一些优秀的设计理念，达到热点数据探测的实时性和高效性。

技术领域

本发明涉及区块链技术领域，特别是涉及一种分布式系统热点数据的管理方法。

背景技术

在分布式存储系统面对的需求场景中，在某一段时间内，若一类数据对象的被访问次数明显高于平均水平，则称这一类数据为热点数据。热点数据的分布不均匀是导致集群负载不均衡的重要原因。由于实际的生成环境中，互联网内数据请求随时间表现出连续不断且不均匀不规律的特性，因此热点数据挖掘的方法也必须具有实时性和准确性。当前的热点数据挖掘方法均存在着各自的缺陷：如无法实时获得热点数据，或无法保证热点数据的准确性等。

因此，需要在分布式存储系统的需求场景中设计一种新的分布式系统热点数据管理方法，以克服现有技术中的一些限制和缺陷。

发明内容

本发明的目的在于提供一种分布式系统热点数据的管理方法，通过结合流式处理数据在时间维度中的连续性，和已有热点数据挖掘方法中的一些优秀的设计理念，达到热点数据探测的实时性和高效性，以解决上述背景技术中提出的问题。

本发明的目的在于提供一种分布式系统热点数据的管理方法，包括：

步骤1，输入一段数据访问请求流，基于三阶段流式热点数据探测算法进行数据抽样、数据过滤以及数据统计，获得所述请求流中的热点数据集合；

步骤2，基于集群负载均衡法对任意时刻所述分布式系统的整个集群负载情况进行分析；

步骤3，根据所述步骤2的分析结果确定是否建立所述热点数据集合的副本，如果确定建立，则基于副本自适应方法建立符合数据访问请求流的时间特征的所述热点数据集合的副本。

优选的，所述步骤1中所述三阶段流式热点数据探测算法的所述数据抽样采用简单随机抽样。

优选的，所述步骤1中所述三阶段流式热点数据探测算法的所述数据过滤采用改良多重布隆过滤器，在传统的布隆过滤器基础上，将过滤器的数量从1个拓展至k个，并且将传统布隆过滤器中的0/1标志位替换为整数计数器，过滤器上任意位置被访问一次，则对应的计数器值加一，当请求被抽样后，对一个数据请求进行分析时，由k个哈希函数对数据对象的key进行计算，生成k个不同的值组成数组P＝[p1,p2,…pk]，对应k个不同的位置；在拓展至k个过滤器的计数器数组中，依次从数组P中取出值，作为对应计数器数组的对应位置，获取该位置计数器的值，得到计数器值数组V[v1,v2,…vk]；对于数组V中的元素，若最小的元素值大于多重布隆计数器的阈值Threshold，则此数据对象通过过滤，通过过滤的数据作为频繁数据进入下一个阶段。

优选的，所述步骤1中所述三阶段流式热点数据探测算法的所述数据统计基于时间窗口进行热点数据探测，在经历了数据抽样和数据过滤后，仍然留存的数据为频繁数据，所述频繁数据有成为热点数据的可能，为了体现所述热点数据的强时间特征，数据统计阶段将频繁数据对应的请求序列按照时间窗口划分，通过设定时间窗口的长度s，将发生时间相近的数据请求归为同一个处理集合sr，对于某一个sr集合，其中的任意一个数据请求r将会计算一个衡量参数f，计算公式如下：

f＝df+pf