[发明专利]一种高效数据分析处理方法

权利要求书

1.一种高效数据分析处理方法，用于通过基于Hadoop的云计算平台进行数据分析，其特征在于，包括：

当数据集发生更新时，若数据量大于预定义阈值，则云计算平台采用MapReduce模型，将关联规则的更新在多个分布式节点中并行化处理，即执行基于云计算的关联规则更新，否则在单节点中执行关联规则的更新。

2.根据权利要求1所述的方法，其特征在于，其中在基于Hadoop的平台中执行MapReduce操作包括如下步骤：

MapReduce库将输入的大数据文件分成若干独立的数据，并在不同的机器上进行程序数据的备份；主程序节点分配子事务，并将子事务递交给空闲的工作机节点中；被分配的子事务的工作节点读取输入的的文件，从中解析出key/value键值对，并调用用户编写的Map函数处理键值对，并生成中间键值对；分区函数将这些中间数据分成若干区，将各个区在磁盘中位置信息发送给主程序，然后转发给Reduce子事务节点；Reduce子事务节点获取由主程序转发的子事务后，根据位置信息调用磁盘上中间数据，并对这些中间按key值进行排序，相同key值进行合并操作；Reduce子事务节点遍历排序后的中间数据，并将数据传递给用户定义的Reduce函数，将其执行结果输出到最终的输出文件中；当所有Reduce子事务完成后，主程序节点将所有数据返回给用户程序，用户程序合并数据并输出最终数据。

3.根据权利要求2所述的方法，其特征在于，所述单节点执行的关联规则更新进一步包括：

(1)获取原数据库TDB，项目集L_k，新增数据库tdb，最小支持数s，对所有的X∈L_k，扫描新增数据集tdb，得到X在TDB∪tdb中的支持数s(TDB∪tdb)，若s(TDB∪tdb)<s×(TDB+tdb)，则将X从L_k中进行删除；

(2)在tdb中查找所有的候选k项目集C_k，对所有的X∈C_k，扫描tdb并计算每个候选项目集的支持数，若支持数小于s×tdb，则将X从C_k中去除，得到一个精简的候选项目集的集合C′_k；

(3)扫描原始数据库TDB，更新C_k中所有候选项目集的支持数，并发现TDB∪tdb中新的项目集，新的项目集与上述更新后的L_k共同组成新数据库中的项目集L_k^*。

4.根据权利要求3所述的方法，其特征在于，所述基于云计算的关联规则更新进一步包括：

首先由主程序对新增数据库tdb进行项目集的分析处理，得到tdb中所有的项目集L(tdb)，将原有的项目集L(TDB)与L(tdb)进行对比，查找其公共部分并放入最终的项目集L^*中，剩余的项目集L(TDB)与L(tdb)记为C_R；然后进行Map操作和Reduce操作，其中：

Map操作包括并行扫描原始数据库与新增数据库，根据原有的项目集与C_R，对数据进行格式化操作形成键值对<T_num，L_k>，并将所有键值对作为中间数据传递给Reduce操作；

Reduce操作：扫描中间结果集，将中间键值对进行升序排序，依次扫描数据库并判断是否满足条件X∈L_k，若条件成立则删除该键值对，否则遍历tdb，计算候选项目集在tdb中的支持数，如果满足条件s(TDB∪tdb)<s×(TDB+tdb)，则删除该项目集；

最后对TDB+tdb进行遍历，计算各个项目集的支持数，再判断支持数是否高于用户预设支持数阈值，新数据库中k项目集由原L_k中剩下的项目集和新产生的项目集共同组成。