[发明专利]关联分析方法和装置

说明书

本发明提供了关联分析方法和装置，通过将原始数据库划分为相互之间不贡献频繁项集支持度的各投影数据库，由各节点分别对所对应的投影数据库进行序列模式的关联分析，然后对各节点获得的局部频繁项集以及对应支持度进行汇总。由于所建立的投影数据库相互之间不贡献频繁项集的支持度，可以由不同节点分别对不同的投影数据库进行包括剪枝步骤在内的关联挖掘，各节点所获得的为数据量较小的局部频繁项集，避免现有技术中需要传输各节点未经过剪枝步骤所获得的数据量较大的局部候选频繁项集的情况，从而节省了传输开销，提高了效率。

技术领域

本发明涉及计算机技术，尤其涉及一种关联分析方法和装置。

背景技术

关联分析是进行数据挖掘中的一种分析技术，主要用于根据大量数据发现项目之间的关联性。关联分析的一个典型应用实例便是购物篮分析：基于购物数据进行关联分析，发现顾客放入购物篮中的不同商品之间的关联性。进而由这种关联分析所获得的关联性体现出顾客的购买习惯，通过了解这些购买习惯可以有利于零售商制定营销策略。

序列模式关联分析不同于其他模式下的关联分析，序列模式还考虑了项目发生的时间，从而使得各项目之间有一定的顺序性。针对序列模式的关联分析，其所进行分析的对象往往是超大规模的数据库，因此，运算量很大不适宜采用单机进行数据处理。现有技术中通常采用对数据库中的数据进行简单分片，将每个分片数据在各节点进行单独的关联分析，获得候选频繁项集及其支持度，然后进行合并获得各候选频繁项集的全局支持度，进而依据预设的筛选条件进行剪枝后获得全局频繁项集。

但是，由于在进行关联分析生成候选频繁项集的过程中存在数据膨胀，导致候选频繁项集的数据量是分片数据的数据量的指数倍，因此，在对各节点生成的候选频繁项集及其支持度进行汇总以便执行合并操作时，传输数据量过大，导致执行效率较低。

发明内容

本发明提供一种关联分析方法和装置，用于解决现有技术中进行并行关联分析时由于汇总数据时数据传输量过大导致执行效率较低的技术问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种关联分析方法，包括：

将原始数据库划分为各投影数据库，所述各投影数据库相互之间不贡献频繁项集的支持度；

由各节点分别对所对应的投影数据库进行序列模式的关联分析，获得局部频繁项集以及对应支持度；

对各节点关联分析所获得的局部频繁项集以及对应支持度进行汇总，获得全局频繁项集以及对应支持度。

第二方面，提供一种关联分析装置，包括：

划分模块，用于将原始数据库划分为各投影数据库，所述各投影数据库相互之间不贡献频繁项集的支持度；

分析模块，用于由各节点分别对所述投影数据库进行序列模式的关联分析，获得局部频繁项集以及对应支持度；

汇总模块，用于对各节点关联分析所获得的局部频繁项集以及对应支持度进行汇总，获得全局频繁项集以及对应支持度。

本发明实施例提供的关联分析方法和装置，通过将原始数据库划分为相互之间不贡献支持度的各投影数据库，由各节点分别对所对应的投影数据库进行序列模式的关联分析，然后对各节点获得的局部频繁项集以及对应支持度进行汇总。由于所建立的投影数据库相互之间不贡献频繁项集的支持度，可以由不同节点分别对不同的投影数据库进行包括剪枝步骤在内的关联挖掘，各节点所获得的为数据量较小的局部频繁项集，避免现有技术中需要传输各节点未经过剪枝步骤所获得的数据量较大的局部候选频繁项集的情况，从而节省了传输开销，提高了效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。