[发明专利]一种基于Spark的并行关联规则增量更新方法

说明书

技术领域

本发明属于数据处理领域，尤其涉及一种基于Spark的并行关联规则增量更新方法。

背景技术

关联规则分析能够发现存在于大量数据各项集间有意义的联系，找出满足给定的支持度与置信度的多个属性间的潜在关系，是数据挖掘领域中的一项重要研究内容。传统的静态关联规则挖掘算法，可以在固定数据集和支持度下，发现数据集中的频繁项集。在现实问题中通常还存在增量更新问题，挖掘对象的数据集和支持度会发生变化，使用静态关联挖掘方法需要反复对更新后的数据集进行扫描，原有的挖掘结果失去作用，在面对大规模数据集时挖掘效率低下。关联规则增量更新挖掘可以在支持度变化或是数据集增加的情况下，重新发现数据集中的频繁项集，在行业应用中比静态关联规则更具有实际意义，它通过比较原始事务数据库和新增数据库的项集之间的频繁和非频繁关系，对频繁项集进行增量更新得到更新后事务数据库的频繁项集。传统关联规则增量更新方法需要多次扫描原始数据集并且生成大量候选项集，仍存在挖掘效率低下的问题。

串行的关联规则挖掘算法在处理大规模数据时需要大量的I/O开销和足够大的内存空间，存储能力和挖掘效率必将成为挖掘过程中的瓶颈，从而不能满足海量数据挖掘的需求。针对传统单机关联挖掘方法在海量数据环境下挖掘效率低的问题，一些基于Hadoop云计算平台的关联增量更新算法通过构建数据集的分块索引，能够最小程度地对数据集进行扫描，提高了挖掘效率，但是在更新数据量较大的情况下，仍会产生大量的I/O操作影响运行效率。

发明内容

本发明针对现有技术的不足，提出一种基于Spark的并行关联规则增量更新方法，在优化算法结构减少数据扫描工作的同时，结合Spark并行化计算框架进一步提高在处理大规模增量数据时的运行效率。

本发明的技术方案如下：

一种基于Spark的并行关联规则增量更新方法，具体包含如下步骤：

步骤1，获取数据集；

步骤2，对步骤1获取的数据集进行数据预处理：

步骤3，将数据预处理后的数据集划分成原始数据集DB和新增数据集db；

步骤4，分别对原始数据集DB和新增数据集db进行关联规则挖掘，分别获取原始数据集DB的频繁项集和新增数据集db的频繁项集；

步骤5，整合步骤4获取的原始数据集DB的频繁项集和新增数据集db的频繁项集，获取更新后数据集的候选项集；

步骤6，获取更新后数据集的全部频繁项集。

作为本发明一种基于Spark的并行关联规则增量更新方法的进一步优选方案，在步骤2中，数据预处理包含清理及整合不完整的脏数据，对数量型数据进行离散化处理。

作为本发明一种基于Spark的并行关联规则增量更新方法的进一步优选方案，所述步骤4具体包含如下步骤：

步骤4.1，设原始数据集DB大小为N，最小支持度为minsup，新增数据集db大小为n，则更新后的数据集为S＝DB∪db；

步骤4.2，扫描原始数据集DB，对原始数据集DB每个事务进行flatMap操作得到项(offset,item)，用map操作将所有项映射成(item,1)的键值对，通过reduceByKey操作累计项目数，通过filter操作过滤掉低于最小支持度minsup的项，进而获取频繁1项集L_D1；

步骤4.3，将L_D1通过join操作生成候选2项集C_D2，迭代地产生2到k-1项集；读取k-1项集，通过join操作生成C_Dk，用flatMap操作将全部候选集列出，对每个项集用map操作得到(itemset,1)的键值对，通过reduceByKey操作累计全部候选集的支持度计数，用filter操作过滤掉低于最小支持度minsup的项，最后输出(itemset,count)的键值对，即为原数据库DB的频繁k项集L_D；

同步骤4.1至步骤4.3中的操作，挖掘新增数据集db，得到其频繁项集L_d。

作为本发明一种基于Spark的并行关联规则增量更新方法的进一步优选方案，所述步骤5具体包含如下步骤：

步骤5.1，原始频繁项集L_D和新增频繁项集L_d公共部分L’＝L_D∩L_d，其中，L’为更新后数据集S的部分频繁项集；