[发明专利]海量交易数据中频繁项目集的挖掘方法及查询方法

权利要求书

1.一种海量交易数据中频繁项目集的挖掘方法，其特征在于，所述挖掘方法包括以下步骤：

A）收集原始交易数据，并更新与原始交易数据对应的索引文件；

B）查询是否存在未处理的原始交易数据，其中，若存在未处理的原始交易数据，则执行步骤C）；若未存在未处理的原始交易数据，则返回步骤A）；

C）对未处理的原始交易数据进行预处理，并将经过预处理的原始交易数据导入到分布式文件系统中；

D）利用均衡的并行频繁项目集增长算法对导入到分布式文件系统中的经过预处理的原始交易数据进行计算，进而得到频繁项目集；

E）将由步骤D）得到的频繁项目集导入到分布式文件系统中；

F）更新与经过步骤C）至步骤E）处理的原始交易数据对应的索引文件。

2.根据权利要求1所述的挖掘方法，其特征在于，在步骤A）中，所述索引文件包括与原始交易数据相对应的有关数据描述信息。

3.根据权利要求1所述的挖掘方法，其特征在于，所述步骤C）还包括：选择适合的数据结构来保存经过预处理的原始交易数据。

4.根据权利要求1或3所述的挖掘方法，其特征在于，在步骤C）中，所述对未处理的原始交易数据进行预处理包括：对未处理的原始交易数据进行数据清洗和/或对未处理的原始交易数据进行数据分类和/或对未处理的原始交易数据进行数据合并。

5.根据权利要求3所述的挖掘方法，其特征在于，在步骤C）中，所述适合的数据结构是体现所述经过预处理的原始交易数据的时间属性的数据结构。

6.根据权利要求1所述的挖掘方法，其特征在于，所述步骤D）的具体实现方式包括以下步骤：

D1）获取由用户定义的频繁项目的最小支持度阈值；

D2）使用MapReduce来统计导入到分布式文件系统中的交易数据中的每一项目的支持度，根据所述最小支持度阈值来筛选出频繁项目；

D3）将筛选出的频繁项目按照支持度从高到低的顺序排序，进而得到频繁项目列表；

D4）计算基于每个频繁项目的原子单元的挖掘负载，根据分组数均匀分配每个频繁项目的原子单元，使各分组所含的频繁项目的挖掘负载总和相对均衡；

D5）使用MapReduce并行创建并挖掘出频繁项目集。

7.一种海量交易数据中频繁项目集的查询方法，其特征在于，所述查询方法包括以下步骤：

a）基于权利要求1至6任一项所述的挖掘方法挖掘出若干频繁项目集以形成频繁项目集数据集；

b）设置频繁项目集的查询参数或频繁项目集关联信息的查询参数；

c）在频繁项目集数据集中查询频繁项目集或频繁项目集关联信息；

d）输出查询到的频繁项目集或频繁项目集关联信息。

8.根据权利要求7所述的查询方法，其特征在于，在步骤b）中，所述查询参数至少包括被选择的频繁项目集数据集、被选择的查询时间范围、被选择的查询类别以及被设置的与所述选择到的查询类别相对应的输入参数。

9.根据权利要求7所述的查询方法，其特征在于，所述步骤c）的具体实现方式包括以下步骤：

c1）将频繁项目集的查询参数或者频繁项目集关联信息的查询参数提交MapReduce查询任务；

c2）在频繁项目集数据集中查询与频繁项目集的查询参数对应的频繁项目集或者与频繁项目集关联信息的查询参数对应的频繁项目集关联信息，并将查询到的频繁项目集或者频繁项目集关联信息进行返回；

c3）整合返回的频繁项目集或者频繁项目集关联信息，并将整合后的频繁项目集或者频繁项目集关联信息进行发送。

10.根据权利要求7所述的查询方法，其特征在于，所述步骤d）包括：以图形或列表的形式输出查询到的频繁项目集或频繁项目集关联信息。