[发明专利]海量交易数据中频繁项目集的挖掘方法及查询方法

说明书

技术领域

本发明涉及一种海量交易数据中频繁项目集的挖掘方法及查询方法。

背景技术

从海量交易数据中挖掘频繁项目集并分析其中的频繁项目关联规则是具有十分重要的实际应用价值的，传统的频繁项目集挖掘方法主要包括Apriori算法以及频繁项目集增长算法两种。随着交易数据数量的急速增长，并行频繁项目集增长算法得到了发展，其中HaoyuanLi等人于2008年提出的并行频繁项目集增长（FP-Growth）算法是已有的处理海量数据中频繁项目集挖掘问题的最佳算法。FP-Growth算法是基于MapReduce的并行频繁项目集增长算法，在FP-Growth算法中将单棵频繁项目集树拆分成多棵无关的频繁项目集子树，从而可以在多个Reduce任务中并行地挖掘各棵频繁项目集子树。随着服务器集群中机器数量的增加，并行频繁项目集增长算法的效率可以达到近乎线性的加速比。

然而，现有的并行频繁项目集增长算法没有考虑到MapReduce中Reduce任务的均衡性问题，并且算法的整体性能需要进一步优化。

发明内容

为了解决上述现有技术存在的问题，本发明的目的在于提供一种海量交易数据中频繁项目集的挖掘方法，其中，所述挖掘方法包括步骤：A）收集原始交易数据，并更新与原始交易数据对应的索引文件；B）查询是否存在未处理的原始交易数据，其中，若存在未处理的原始交易数据，则执行步骤C）；若未存在未处理的原始交易数据，则返回步骤A）；C）对未处理的原始交易数据进行预处理，并将经过预处理的原始交易数据导入到分布式文件系统中；D）利用均衡的并行频繁项目集增长算法对导入到分布式文件系统中的经过预处理的原始交易数据进行计算，进而得到频繁项目集；E）将由步骤D）得到的频繁项目集导入到分布式文件系统中；F）更新与经过步骤C）至步骤E）处理的原始交易数据对应的索引文件。

进一步地，在步骤A）中，所述索引文件包括与原始交易数据相对应的有关数据描述信息。

进一步地，所述步骤C）还包括：选择适合的数据结构来保存经过预处理的原始交易数据。

进一步地，在步骤C）中，所述对未处理的原始交易数据进行预处理包括：对未处理的原始交易数据进行数据清洗和/或对未处理的原始交易数据进行数据分类和/或对未处理的原始交易数据进行数据合并。

进一步地，所述适合的数据结构是体现所述经过预处理的原始交易数据的时间属性的数据结构。

进一步地，所述步骤D）的具体实现方式包括步骤：D1）获取由用户定义的频繁项目的最小支持度阈值；D2）使用MapReduce来统计导入到分布式文件系统中的交易数据中的每一项目的支持度，根据所述最小支持度阈值来筛选出频繁项目；D3）将筛选出的频繁项目按照支持度从高到低的顺序排序，进而得到频繁项目列表；D4）计算基于每个频繁项目的原子单元的挖掘负载，根据分组数均匀分配每个频繁项目的原子单元，使各分组所含的频繁项目的挖掘负载总和相对均衡；D5）使用MapReduce并行创建并挖掘出频繁项目集。

本发明的另一目的还在于提供一种海量交易数据中频繁项目集的查询方法，其中，所述查询方法包括步骤：a）基于上述的挖掘方法挖掘出若干频繁项目集以形成频繁项目集数据集；b）设置频繁项目集的查询参数或频繁项目集关联信息的查询参数；c）在频繁项目集数据集中查询频繁项目集或频繁项目集关联信息；d）输出查询到的频繁项目集或频繁项目集关联信息。

进一步地，在步骤b）中，所述查询参数至少包括被选择的频繁项目集数据集、被选择的查询时间范围、被选择的查询类别以及被设置的与所述选择到的查询类别相对应的输入参数。

进一步地，所述步骤c）的具体实现方式包括步骤：c1）将频繁项目集的查询参数或者频繁项目集关联信息的查询参数提交MapReduce查询任务；c2）在频繁项目集数据集中查询与频繁项目集的查询参数对应的频繁项目集或者与频繁项目集关联信息的查询参数对应的频繁项目集关联信息，并将查询到的频繁项目集或者频繁项目集关联信息进行返回；c3）整合返回的频繁项目集或者频繁项目集关联信息，并将整合后的频繁项目集或者频繁项目集关联信息进行发送。

进一步地，所述步骤d）包括：以图形或列表的形式输出查询到的频繁项目集或频繁项目集关联信息。

本发明旨在针对大量的交易数据，基于分布式服务器集群构架特有的频繁项目集挖掘方法和查询方法，能快速准确地从海量交易事务数据库中挖掘出有用的频繁项目，获取有价值的产品关联规则信息。

附图说明