[发明专利]一种基于热点数据上流的云平台键值存储数据编排方法

权利要求书

1.一种基于热点数据上流的云平台键值存储数据编排方法，包括以下步骤：

(1)自动跟踪一段时间内用户对键值数据的访问，并将所述键值数据记录在哈希表M中；对每一次键值数据访问，更新记录在哈希表中的访问时刻CLOCK信息与访问频次FREQ信息；将访问时刻CLOCK能表示的最大值记为MAX_CLOCK，对于不在哈希表M中的数据的访问时刻CLOCK值初始化为MAX_CLOCK，访问频次FREQ初始化为1；对于重复访问已在哈希表M中的数据，记访问时刻CLOCK值为MAX_CLOCK，访问频次FREQ增加1；

(2)每个键值数据访问记录在哈希表M中对应两个桶，在插入访问记录X时，若访问记录X对应的桶已被占满，则广度优先搜索出有空位的桶，形成从已被占满的桶到所述有空位的桶的路径，在所述路径上后向移动各个项，使得访问记录X对应的两个桶位置有空位，从而得以插入访问记录X；

(3)定义函数AGING维护哈希表M的动态性与实时性，所述函数AGING对部分哈希表M_p内的访问时刻CLOCK进行衰减；根据时间窗口大小W设定时间间隔T，周期性触发AGING函数；此外，在用户每次访问键值数据时，使用投机方法触发函数AGING，直到当访问时刻CLOCK值为0，将对应键值数据从哈希表M中移除；

(4)在一个键值数据的访问时刻CLOCK与访问频次FREQ发生变化时，依据热度计算公式K计算键值数据新的热度HEAT；得到键值数据的热度之后，更新对应热度计数器，得到数据整体热度分布；

(5)根据键值数据整体的热度分布和当前访问数据的热度信息，能够判断出当前访问数据是否为热数据，若是，将当前访问数据放入热数据表HT中，下次对相同数据的访问将能直接从热数据表HT中读取，从而完成数据预热；

(6)热数据表HT中的数据在一段时间没有访问后将逐渐下沉到磁盘中，维护热数据表HT的动态性与实时性。

2.根据权利要求1所述的一种基于热点数据上流的云平台键值存储数据编排方法，其特征在于，所述步骤(1)中，哈希表M的查询与插入方式基于布谷鸟过滤器；哈希表M管理着插入项的访问时刻，访问频次以及指纹信息；其中，访问时刻与访问频次用于计算项的热度，而指纹信息则用于项的查询。

3.根据权利要求1所述的一种基于热点数据上流的云平台键值存储数据编排方法，其特征在于，所述步骤(2)中，为支持多线程并发，在进行后向移动时，对需要移动的原地址与目标地址桶加分段锁。

4.根据权利要求1所述的一种基于热点数据上流的云平台键值存储数据编排方法，其特征在于，所述步骤(3)中，时间窗口大小W是基于时间的窗口大小或基于计数的窗口大小；若访问时刻CLOCK所占比特数目为s，则使得AGING函数的触发间隔T满足T＝W/2^s；在触发间隔T内对所有项的访问时刻CLOCK进行衰减，这段时间中用户的操作也将触发部分哈希表M_p内的函数AGING，分摊在时间间隔T时间后在哈希表M上执行函数AGING的时间开销。

5.根据权利要求1所述的一种基于热点数据上流的云平台键值存储数据编排方法，其特征在于，所述步骤(4)中，热度计算公式K表示为HEAT＝FREQ^a×CLOCK^b，其中a，b分别表示用户设置的关于频次和时间的权重。

6.根据权利要求1所述的一种基于热点数据上流的云平台键值存储数据编排方法，其特征在于，所述步骤(5)中，判断一个键值数据是否为热数据的依据是所述键值数据的热度排名是否大于80％的键值数据，若所述热度排名大于80％的键值数据则判断所述键值数据为热数据。