[发明专利]数据关联规则挖掘实现方法与系统

说明书

技术领域

本发明涉及数据业务，尤其涉及一种数据关联规则挖掘实现方法与相应的实现系统。

背景技术

在数据挖掘处理中，数据关联规则(Association Rule)的挖掘目的，是发现在大量的数据项之间存在的值得关注的关联或相关关系，典型应用是零售业的购物篮分析。所谓购物篮分析是指对数据进行关联规则研究，有助于发现交易数据库中不同商品(或不同项)之间的联系，找出顾客购买行为的模式，例如，如果面包和牛奶经常被顾客同时购买，则把它们摆放在一起有助于增加两种商品的销售量。为了衡量一条规则的重要程度，关联规则通常采用支持度(support)和可信度(confidence)作为度量标准。支持度可以表示商品在超市销售中的重要程度，可信度反映了商品之间的关联程度。如果在购买面包的交易中，有60％的交易既购买了面包又购买了牛奶，则称关联规则“面包牛奶”(表示如果购买面包则购买牛奶)的可信度为60％。

关联规则(表示A与B同时存在)在事务数据库D中的支持度，可用概率表示；关联规则在事务数据库D中的可信度，是在事务数据库D中的那些包含A的事务中，B也同时出现的概率，即条件概率。

一个项集X在事务数据库D中的支持度，是事务数据库D中包含X的事务count(X)占事务总数N的百分比，即概率P(X)。对于一个项集X，如果其支持度大于或等于预先给定的支持度阈值min_sup，则称X为频繁项集(FI：Frequent Itemset)或频繁模式。

FP-growth算法(频繁模式增长算法)只需要对数据库进行两次扫描：第一次扫描得到频繁1-项集；第二次扫描构建FP-Tree。最后挖掘FP-Tree得到强关联规则。算法的核心是FP-Tree(Frequent Pattern Tree，频繁模式树)的构建。FP-Tree通过合并一些重复路径，实现了数据的压缩，从而使得将频繁项集加载到内存中成为可能，从而提高了运算效率。FP-growth算法的具体实现如下：

(1)扫描一遍数据库，获取所有频繁项集。以下表一所述数据记录为例，得到的频繁项集为：{(c：4)，(f：4)，(a：3)，(b：3)，(m：3)，(p：3)}，“：”之后的数字表示对应数据项的出现频率(即出现次数)。上述频繁项集是首先按照各数据项出现频率从大到小排序，再按照字母顺序(即规定的数据项顺序)排序，并删除出现次数小于最小支持度的相应数据项。需要注意的是这里的排序非常重要，之后每个数据记录中的各项都要按照这个顺序进行排列，排列顺序是有效合并重复路径的前提。

表一