[发明专利]MapReduce计算框架下的可迭代式数据处理方法

说明书

【技术领域】

本发明涉及一种MapReduce计算框架下的可迭代式数据处理方法。

【背景技术】

在大数据时代，数据量成爆炸式增长，这对数据的计算处理提出了极高的要求。Hadoop生态圈的提出为海量数据的大规模计算和分布式可靠存储提供了一个强大的工具。在Hadoop中，MapReduce是一个为海量数据计算提供可靠、易用、可规模化的关键组件，所基于的MapReduce计算框架对于许多数据分析和计算方法十分友好，这使得MapReduce计算框架在海量数据分析中具有广泛的应用。然而，在现实使用中，MapReduce计算框架下迭代计算执行受到了Hadoop生态圈实现的制约，从而导致迭代计算性能受到影响。

在MapReduce计算框架下，数据集MassiveDataSet会被划分为若干个数据块，然后每个Map处理一个数据块，并输出一个由key-value对组成的队列，在shuffle阶段，会对所有key-value对执行哈希重组和根据key排序，组成key-value-list对，然后在Reduce阶段，每个key-value-list对都会被单独处理并输出结果。

MapReduce计算框架下迭代计算受到以下限制：（1）两个MapReduce任务之间的中间数据必须被写回Hadoop Distributed File System中，因此导致性能受到损失。（2）Map和Reduce自身无法迭代执行，如果要求迭代计算的话，需要串联两个MapReduce，导致Java虚拟机的创建和销毁开销，影响性能。为解决以上问题，现有技术采用串联多个MapReduce任务，然而依然存在如下缺点：（1）两个MapReduce任务之间的中间数据必须被写回Hadoop Distributed FileSystem（HDFS）中，因此导致性能损失。（2）Map和Reduce自身无法迭代执行，如果要求迭代计算的话，需要串联两个MapReduce，导致Java虚拟机的创建和销毁开销，影响性能。

【发明内容】

本发明旨在解决上述现有技术中存在的问题，提出一种MapReduce计算框架下的可迭代式数据处理方法。

本发明提出的MapReduce计算框架下的可迭代式数据处理方法，包括以下步骤：S10、ReadNode从Hadoop分布式文件系统中读取原始数据，并将所述原始数据解析成独立数据项，以所述独立数据项作为MapNode的输入数据；S20、MapNode采用Shuffle Grouping机制将所述输入数据分发至MapNode的各线程或进程进行处理，对于每一所述独立数据项输出<key,value>格式数据；S30、ShuffleNode对<key,value>进行哈希重组、基于key值执行排序，并采用FieldsGrouping机制将排序后的<key,value>分发至ShuffleNode的各线程或进程；S40、ShuffleNode的各线程或进程实时将<key,value>存入本地KVlist缓冲池，直至收到表示数据发送完毕的<key,value>，基于key值对KVlist缓冲池中的<key,value>进行排序、分组，对每一分组输出{i,<key,value_list>}格式数据，其中，i为当前线程或进程编号；S50、ReduceNode将{i,<key,value_list>}发送至其第i个线程或进程进行处理，输出<key’,value’>；S60、CoordinateNode接收并缓冲<key’,value’>直至接收到表示发送完毕的数据项，CoordinateNode将基于<key’,value’>的计算结果返回至ReadNode，ReadNode将所述计算结果解析成独立数据项，重复步骤S20至S50进行迭代，直至ReduceNode发出表示停止迭代的数据项，CoordinateNode退出。