[发明专利]基于并行计算的频繁项集发现算法

说明书

本发明涉及一种基于并行计算的频繁项集发现算法，将数据库D分割成n个条件数据库，然后分别采用Apriori算法挖掘每一个条件数据库Di得到所有以Ii为尾的大项集；找出所有包含Ii的大项集：首先沿着频繁项头表中项Ii的链域找到item‑name为Ii的每个项前缀子树的节点Pi，再沿着每个Pi的父指针往上走直到根节点，使该路径上经过的每个项前缀子树节点的con‑count域都增加Pi.count，根节点不增加；同时增加一个临时频繁项头表ITable，然后再对ITable中的每一个表项的con‑count域进行统计，若它的con‑count域大于预先给定的最小支持度，则保留该表项，否则删除该表项。

技术领域

本发明属于数据挖掘技术领域，涉及数据挖掘的关联规则挖掘算法，具体涉及一种基于并行计算的频繁项集发现算法。

背景技术

数据挖掘的概念是1995年在美国计算机年会ACM会议上首次被提出的。数据挖掘又称作KDD，它是指从数据库的大量数据中揭示出隐含的、未知的、潜在的有用信息的非平凡过程。它在现如今的数据库领域的众多研究当中，拥有着很高的实际使用的价值。

关联规则挖掘是数据挖掘研究中的一个重要的分支，关联规则是数据挖掘的众多知识类型中最为典型的一种。关联规则挖掘(Association Rule Mining)用于发现隐藏在大型数据集中令人感兴趣的联系。Apriori算法和FP-growth算法是关联规则挖掘中最经典的两个算法。Apriori算法是一种典型的广度优先搜索结合直接计数算法，采用逐层搜索的迭代策略，先产生候选集，再对候选集进行筛选，然后产生该层的频繁集；FP-growth算法是一种深度优先搜索结合直接计数的算法,采用模式增长的递归策略，不用产生候选集，而是把事务数据库压缩到一棵只存储频繁项的树结构中，通过递归的挖掘FP-tree得到所有的频繁项集。

现今已有多种发现频繁项集的串行算法，通常的串行算法都是首先生成候选项目集，然后计算它们的支持度从而生成频繁项目集。这样，频繁项目集生成所需的时间和空间开销往往很大，而且大规模的数据库一般都很大(按GB乃至TB计)，而随着高性能计算机的出现，采用并行数据挖掘算法不仅可行而且能提高效率。因此，并行数据挖掘是一个重要的研究方向。

发明内容

本发明的目的是结合关联规则挖掘中最经典的Apriori算法和FP-growth算法，提出一种基于并行计算的频繁项集发现方法，该算法不仅优于原来的两种算法，而且适用于并行运算。

本发明的技术方案如下：

一种基于并行计算的频繁项集发现算法，其特征在于：

(1)设有n个大项集，将数据库D分割成n个条件数据库，而数据库Di是关联一项大项集Ii的条件数据库，i＝1,…,n；

(2)然后分别采用Apriori算法挖掘每一个条件数据库Di得到所有以Ii为尾的大项集；实现方法是，采用FP-growth算法的方法构造一棵FP-tree，在每个项前缀子树的节点中增加一个域：con-count，在对Di条件数据库进行挖掘时，该域记录了所在路径代表的交易中达到此节点的并且包括Ii的交易个数；

(3)找出所有包含Ii的大项集：首先沿着频繁项头表中项Ii的链域找到item-name为Ii的每个项前缀子树的节点Pi，再沿着每个Pi的父指针往上走直到根节点，使该路径上经过的每个项前缀子树节点的con-count域都增加Pi.count，根节点不增加；同时增加一个临时频繁项头表ITable，每个表项(entry)由三个域组成：item-name、node-link、con-count；