[发明专利]一种基于高频键值计数的分布式倾斜流处理方法和系统

权利要求书

1.一种基于高频键值计数的分布式倾斜流处理方法，其特征在于，包括如下步骤：

(1)获取数据流中待处理的数据项e_i，和数据流中在数据项e_i之前已处理的数据项总数M；

(2)判断数据项e_i是否位于高频键集S中，如果是，则将高频键集S中与该数据项相同的键所对应的值加1，然后进入步骤(10)，否则进入步骤(3)；

(3)使用计数式布隆过滤器对数据项e_i进行处理，以得到该数据项e_i的频数f_i；

(4)判断数据项e_i的频数f_i大小是否大于等于高频键阈值ε，如果是，则进入步骤(5)，否则转入步骤(6)；

(5)判断高频键集S中已有键数是否等于高频键集最大键数C，如果是，则将数据项e_i替换高频键集S中值最小的键，并将该键的值设置为f_i+f_min，其中f_min是高频键集S中键的最小值，然后转入步骤(10)；否则，将数据项e_i及频数f_i作为新的键值插入高频键集S中，然后转入步骤(10)；

(6)判断数据项e_i的频数f_i大小是否大于等于低频键阈值θ，如果是，则转入步骤(9)，否则进入步骤(7)；

(7)判断低频键队列Q是否已满，如果是，则先删除低频键队列Q中头节点的数据项e_h，再将数据项e_i插入低频键队列Q中，然后进入步骤(8)，否则，直接将数据项e_i插入低频键队列Q中，然后转入步骤(9)；

(8)判断低频键队列Q中头节点的数据项e_h的衰减概率是否大于随机数r，如果是，则使用计数式布隆过滤器对低频键队列Q中头节点的数据项e_h进行更新，以得到该数据项e_h更新后的频数，然后进入步骤(9)，其中b为预设的指数底数，b＞1且b≈1，f_h为低频键队列Q中头节点的数据项e_h的频数，r为随机数产生器生成的范围为[0，1)的随机数；否则进入步骤(9)；

(9)采用键值分组算法为数据项e_i分配下游实例，并将数据流中已处理的数据项总数M加1，过程结束；

(10)根据高频键集S中与数据项e_i相同的键所对应的值大小，确定该键可以被分配的下游实例数，并根据确定的下游实例数从下游实例中选择一个下游实例，将选择的下游实例分配给数据项e_i，并将数据流中已处理的数据项总数M加1，过程结束。

2.如权利要求1所述的基于高频键值计数的分布式倾斜流处理方法，其特征在于，步骤(2)中的高频键集S是通过空间节省算法中基于流摘要的数据结构实现，高频键集S中相同计数值的键链接在同一个链表中，并指向同一个父桶，高频键集S中的不同父桶间使用双向链表链接。

3.如权利要求1所述的基于高频键值计数的分布式倾斜流处理方法，其特征在于，步骤(3)中的计数式布隆过滤器是一个包含w个计数器的数组B＝{B[0]，B[1]，...，B[w-1]}，首先，计数式布隆过滤器利用t个不同的哈希函数h₁()，h₂()，...，h_t()计算数据项e_i所分别对应的哈希值h₁(e_i)，h₂(e_i)，...，h_t(e_i)，然后，计算得到每个哈希值模w以后的处理结果h₁(e_i)％w，h₂(e_i)％w，…，h_t(e_i)％w，其后，将数组B中等于各个处理结果的元素分别加1，并将得到的所有元素中的最小值作为数据项e_i的频数f_i。