[发明专利]一种基于Hadoop的数据分析方法

说明书

本发明提供了一种基于Hadoop的数据分析方法，用于通过基于云计算的数据分析处理系统进行数据分析，所述数据分析处理系统基于Hadoop平台作为计算环境，该数据分析处理系统由数据存储模块、数据分析模块和事务处理模块构成，使用Hadoop中的MapReduce插件作为开发工具，所述MapReduce对数据的操作包括Map操作和Reduce操作，所述Map操作是对输入的键值对进行指定的操作，生成一组中间键值对，所述Reduce操作对Map操作输出的中间键值对进行规约合并。本发明的方法在基于云计算的数据分析处理中，能够提高数据分析处理的执行效率，特别是在大数据集的情况下效果尤为明显。

技术领域

本发明涉及大数据处理，特别涉及一种基于Hadoop的数据分析方法。

背景技术

云计算借助互联网平台，提供廉价的分布式动态可扩展的计算能力。云计算可以使实现物物相连、网网相通的理想效果。多种信息传感设备在中相互通信，产生的数据是海量的。因此如何生成的海量大数据中快速有效地提取出有用的信息是至关重要的。传统的数据处理方法存在的缺点就是在执行过程中要多次扫描整个数据库，产生庞大的候选集，造成时间和空间的浪费。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于Hadoop的数据分析方法，用于通过基于云计算的数据分析处理系统进行数据分析，包括：

所述数据分析处理系统基于Hadoop平台作为计算环境，该数据分析处理系统由数据存储模块、数据分析模块和事务处理模块构成，使用Hadoop中的MapReduce插件作为开发工具，所述MapReduce对数据的操作包括Map操作和Reduce操作，所述Map操作是对输入的键值对进行指定的操作，生成一组中间键值对，所述Reduce操作对Map操作输出的中间键值对进行规约合并。

优选地，所述待分析的数据由所述数据存储模块存储并转换为数据库文件，保存到Hadoop平台的HDFS中；所述数据分析模块利用云计算平台的分布式并行计算的属性将关联规则生成过程交由MapReduce处理，运用于云计算平台，由主程序负责事务的创建、管理控制，按照用户的请求将数据分析事务传输到相应的节点进行计算；所述事务处理模块由主程序负责所有数据分析处理事务的调度，并将最终结果返回给用户，其中所述MapReduce编程模型只提供相关接口给上层模块而将底层的实现细节进行屏蔽。

优选地，所述将关联规则生成过程交由MapReduce处理，进一步包括：

(1)MapReduce将事务数据库D水平地划分成n块，通过参数确定每块的大小，把n个数据子集发送到m个执行Map事务的节点，由主程序负责调度，将处理事务分配给处于空闲列表中的工作机；

(2)格式化n个数据子集，产生ID，Value键值对，其中ID表示D中的事务ID，Value为相应事务ID对应的列表值；

(3)Map操作对输入的每个ID，Value键值对进行扫描，生成一个局部候选1项目集到候选k项目集的集合CP，每个候选项目集的cs初始值都设定为1，Map操作输出中间结果Itemset，1键值对，其中Itemset表示CP中的候选项目集；

(4)在每个执行Map函数的工作机上增加一个可选的分区函数，将Map操作产生的中间结果进行合并，输出中间键值对Itemset，s，其中s表示Itemset在数据子集中的cs的累加值，然后利用散列函数：