[发明专利]一种大规模数据的关联规则挖掘方法

权利要求书

1.一种大规模数据的关联规则挖掘方法，其特征在于，包括以下步骤：

1）对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；

2）对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；

3）合并所有分类的频繁项集，将大于最小信赖度的频繁项集对应关联规则判定为强关联规则。

2.如权利要求1所述一种大规模数据的关联规则挖掘方法，其特征在于，分类预处理的具体方法是：

1.1在输入数据中选择k个条记录作为分类的基准点；k为大于等于2的整数；

1.2扫描数据，并求出每一条记录与各基准点的相似度，根据将每条记录分配至与其相似度最高的基准点所对应的分类上；扫描完全部数据后，形成各分类对应区域；与一条记录相似度最高的基准点有1个或1个以上；

1.3分别对各分类对应区域的记录进行平均，利用平均后的结果确定新的该区域的新的基准点，判断区域的基准点是否变化，如是，跳转到步骤1.2，如否，分类结束。

3.如权利要求2所述一种大规模数据的关联规则挖掘方法，其特征在于，使用多个处理器分别对所述步骤1）、步骤2）进行并行处理。

4.如权利要求3所述一种大规模数据的关联规则挖掘方法，其特征在于，并行Apriori算法来挖掘频繁项集，具体的方法是：

2.1将当前分类中的数据根据并行处理器数量N分为N个数据块Di分配至对应的处理器Pi，i=1，...,N，N为大于等于2的整数；

2.2当第k=1次扫描时，每个处理器Pi根据分配在本地数据分块Di中各记录的项，生成本地候选项集C(1，i)，之后进入步骤2.4；

2.3当第k>1次扫描时，每个处理器Pi根据第k-1次扫描生成的本地频繁项集L(k-1,i)生成本次扫描的本地候选项集C(k,i)，当生成本地候选项集C(k,i)不为空则进入步骤2.4，否则，处理器Pi挖掘频繁项集的迭代过程结束，进入步骤2.7；

第k遍的频繁项集L(k-1)，在每个处理器Pi生成完全候选项集C(k)；

2.4处理器Pi扫描完毕的本地数据分块Di并得到本地候选项集C(k，i)的支持度计数，进入步骤2.5；

2.5处理器Pi与并行的其他处理器交换本地候选项集C(k，i)的支持度计数，获得总的当前分类下第k次扫描生成的候选项集C(k)的支持度计数；

2.6处理器Pi根据候选项集C(k)的支持度计数将本地候选项集C(k,i)中支持度大于预设最小支持度的项目组作为本地频繁项集L(k，i)，更新k=k+1，进入步骤2.3；

2.7当并行的全部处理器均结束挖掘频繁项集的迭代过程，则合并各处理器Pi每次扫描得到本地频繁项集作为对当前分类的频繁项集的挖掘结果。