[发明专利]数据关联规则挖掘实现方法与系统

权利要求书

1.一种数据关联规则挖掘实现方法，其特征在于，包括：

主控节点对数据记录进行分块，将分块数据记录分配并分发给至少两个计算节点；

每个所述计算节点并行对分配的每条分块数据记录中包含的每个数据项，分别统计本地出现次数，并发送统计出的每个数据项的本地出现次数给第一类合并节点；

所述第一类合并节点累计每个所述计算节点发送的每个数据项的本地出现次数，得到每个数据项的总出现次数，并确定出总出现次数大于设定的支持度阈值的对应数据项为频繁1-项集，并发送频繁1-项集及对应的总出现次数给每个所述计算节点；

每个所述计算节点按总出现次数由大到小的顺序排序各频繁1-项集，对分配的每条分块数据记录中包含的数据项，按照排序后的各频繁1-项集的顺序进行排序，并删除每条记录中包含的非频繁1-项集数据项，得到对应的每条处理后记录；以及

每个所述计算节点对每条处理后记录，分别以包含的每个频繁1-项集为终止数据项，以该条处理后记录包含的首个频繁1-项集为起始数据项，得到由该条处理后记录生成的全部子数据项串；并分别统计每个子数据项串的本地出现次数，将本地的每个子数据项串及对应的本地出现次数发送给第二类合并节点；

所述第二类合并节点累计每个所述计算节点发送的每个子数据项串的本地出现次数，得到每个子数据项串的总出现次数；并根据每个子数据项串及其总出现次数，构建对应的频繁模式FP子树，发送给所述主控节点或第三类合并节点；以及

由所述主控节点或所述第三类合并节点合并各FP子树，得到全局FP树，再根据得到的全局FP树挖掘关联规则。

2.如权利要求1所述的方法，其特征在于，所述第一类合并节点至少包括两个；由所述主控节点预先分配每个第一类合并节点进行合并的对应数据项；

每个所述计算节点发送统计出的每个数据项的本地出现次数给第一类合并节点，具体包括：

每个所述计算节点根据每个第一类合并节点进行合并的对应数据项，将本地统计出的相应数据项的本地出现次数，上报给对应的第一类合并节点；或者

每个第一类合并节点根据自身进行合并的对应数据项，分别向每个所述计算节点请求上传所述对应数据项的统计信息；每个所述计算节点向每个所述第一类合并节点返回其请求的所述对应数据项的本地出现次数。

3.如权利要求2所述的方法，其特征在于，所述第二类合并节点至少包括两个；由所述主控节点预先分配每个第二类合并节点进行合并的对应子数据项串；

每个所述计算节点将本地的每个子数据项串及对应的本地出现次数发送给第二类合并节点，具体包括：

每个所述计算节点根据每个第二类合并节点进行合并的对应子数据项串，将本地统计出的相应子数据项串的本地出现次数，上报给对应的第二类合并节点；或者

每个第二类合并节点根据自身进行合并的对应子数据项串，分别向每个所述计算节点请求上传所述对应子数据项串的统计信息；每个所述计算节点向每个所述第二类合并节点返回其请求的所述对应子数据项串的本地出现次数。

4.如权利要求3所述的方法，其特征在于，当由第三类合并节点进行FP子树合并时，所述第三类合并节点由至少两个子树合并分节点和一个子树合并总节点组成；由所述主控节点预先分配每个子树合并分节点进行合并的至少两个对应FP子树，并通知所述第二类合并节点；

所述第二类合并节点构建繁模式FP子树，并发送给第三类合并节点，具体包括：

每一个第二类合并节点根据每个子树合并分节点进行合并的对应FP子树，将本地构建的对应FP子树发送给进行合并的对应的子树合并分节点；每个子树合并分节点进行子树合并后，传送给所述子树合并总节点。