[发明专利]基于MapReduce的并行频繁项集挖掘方法

权利要求书

1.一种基于MapReduce的并行频繁项集挖掘方法，其特征在于：包括以下步骤：

S1：输入待挖掘的数据集，并对数据集进行划分分区和筛选，得到频繁1项集，对频繁1项集中各个项排列生成F-list；

S1-1：使用Hadoop默认的文件块策略，将原始数据集划分成大小相同的文件块Block；

S1-2：将文件块Block作为Map阶段的输入数据，通过调用Map函数以键值对key＝item，value＝1的形式统计出相应接点上的文件块中各项出现的次数；

S1-3：通过调用Combine函数将本节点中key值相同的value相加；

S1-4：将每个节点新得到的键值对传送给Reduce函数，进行合并；

S1-5：筛选出支持度大于最小支持度阈值min_sup的项组成频繁1项集F₁，根据频繁1项集中各项的支持数降序排列生成全局F-list；

S1-6：将所得到的F-list保存到文件存储系统HDFS中；

S2：通过负载均衡策略LBSBDG对F-list均匀分组；估算F-list中每一项的负载量，并根据每一项的负载量进行均匀分组，生成分组列表G-list；

S2-1：通过估计函数E(item)计算F-list中每一项的负载量Load，并将每一项的负载量按照降序排序方法生成L-list；

函数E(item)具体的计算方式如下所示：

E(item)＝min{count(item),2^n-1}

其中count(item)表示频繁项item的支持度，n为item在F-list中的位置；min{}表示取两者之间的较小者；

S2-2：构建分组列表G-list，对L-list中的每一项进行分组生成G-list，其中G-list包含H组；

S2-3：将L-list中的前H项作为初值依次添加到G-list每一组中，并将组号设置为0～(H-1)，同时设置每一组的负载总量的初值为添加项的负载量；

S2-4：继续对L-list中未分组的项进行分组操作，且每次均读取H项，在划分之前先判定当前每一组的负载总量是否相同，如果每一组负载总量均相同则按顺序添加，即将H项分别添加到0～(H-1)组，如果每一组负载总量不相同则按逆序添加，即将H项分别添加到(H-1)～0组中，更新每一组的负载总量；

S2-5：重复步骤S2-3直到L-list中所有项均匀分配到相应组为止，如果最后一次取出的项个数少于H则将其依次添加到负载总量最小的组中；

S2-6：将所得到的分组G-list保存到文件存储系统HDFS中；

S3：启动频繁k项挖掘任务，并行挖掘待挖掘数据集中所有的频繁项集；

S3-1：在Map函数计算过程中，将处理后的数据依据G-list映射到集群中的不同计算节点上；

S3-1-1：从分布式文件存储系统HDFS中读取F-list和G-list，同时将G-list中的各个数据项用序号替换；

S3-1-2：根据G-list构建映射表Htable，将G-list每组所包含的项作为key值，组号gid作为value值；

S3-1-3：依次读取预处理后数据集中的每一条记录，并逆序遍历该记录中的项item，根据步骤S3-1-2中的Htable，确定其组号gid，然后以gid为key值，将排在项item之前所有项设定为value值；

S3-1-4：重复执行步骤S3-1-3，直到所有记录完成映射，并将所得的输出结果作为Reduce阶段的输入传送给Reduce函数；

S3-2：在Reduce函数计算过程中，在各个计算节点中构造子树，通过先序、后序遍历子树，得到频繁1项集的N-list；然后对频繁1项集结构进行合并得到频繁2项集的DiffNodeset；最后挖掘出所有的频繁项。

2.根据权利要求1所述的挖掘方法，其特征在于：步骤S3-1-3还包括以下步骤：

S3-1-3-1：完成映射后，删除Htable中value＝gid的所有键值对；

S3-1-3-2：如果在映射时找不到对应的组号，则读取前一项执行相同操作，直到该记录执行完毕。