[发明专利]基于MapReduce模型的任务执行方法和装置

说明书

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种基于MapReduce模型的任务执行方法和装置。

背景技术

MapReduce模型是当下并行处理技术中的主流编程模型，其将任务抽象为基于键值对的map任务和Reduce任务。图1为现有技术基于MapReduce模型的任务执行方法。如图1所示，现有技术中基于MapReduce模型的任务执行方法主要分为以下几个步骤：步骤101，将任务的输入文件划分为M份。步骤102，执行Map任务的节点读取相应的分区块，并从输入文件的数据记录中提取出键值对，传入map函数，map函数对这些键值对进行处理，产生的中间键值存入缓存或者本地磁盘。步骤103，选择哈希函数作用于中间键，并产生0～R-1个桶编号。根据哈希结果将Map任务的结果存放到R个本地文件中的一个。步骤104，执行Reduce任务的节点远程地读取R个文件中相应的一个，采用取模的方式，将键值与关联的值传递给reduce函数，reduce函数产生的输出会添加到这个分区的输出文件中。

现有技术中的MapReduce模型的任务执行方法中，由于Map任务执行完生成键值对，将键值对发送给reduce任务的节点时，遵循相同的键值被发送至同一个reduce节点的原则。因此，在key取值不均的情况下，容易造成reduce任务中节点的负载不均衡的问题，这种不均衡会造成轻负载的reduce节点等待重负载的reduce节点的现象，任务重的reduce节点将会拖慢整体的执行效率。

所以现有的基于MapReduce模型的任务执行方法导致了reduce节点上的负载不均衡，进而导致了任务的执行效率较低。

发明内容

本发明实施例提供一种基于MapReduce模型的任务执行方法，该方法解决了现有的基于MapReduce模型的任务执行方法导致reduce节点上的负载不均衡，进而导致任务的执行效率较低的技术问题。

本发明实施例提供一种基于MapReduce模型的任务执行方法，包括：

提取待执行任务的每个输入文件的键值对；

采用最大差异直方图将所述键值对划分为多个分割集合；

采用哈希一致性算法计算多个分割集合中的键值对中的键值与reduce节点的映射关系；

根据所述映射关系执行待执行任务。

本发明实施例提供一种基于MapReduce模型的任务执行装置，包括：

提取模块，用于提取待执行任务的每个输入文件的键值对；

第一划分模块，用于采用最大差异直方图将所述键值对划分为多个分割集合；

计算模块，用于采用哈希一致性算法计算多个分割集合中的键值对中的键值与reduce节点的映射关系；

执行模块，用于根据所述映射关系执行待执行任务。

本发明实施例提供一种基于MapReduce模型的任务执行方法和装置，通过提取待执行任务的每个输入文件的键值对；采用最大差异直方图将键值对划分为多个分割集合；采用哈希一致性算法计算多个分割集合中的键值对中的键值与reduce节点的映射关系；根据映射关系执行待执行任务。由于首先采用最大差异直方图将键值对划分为多个分割集合，使每个分割集合中的键值对中key的频率取值差异不大，而分割集合间的键值对中key的频率取值差异很大，将每个分割集合中的键值对分配到各个reduce节点时，能够保证分配给每个reduce节点上的任务量大致相同。并且计算多个分割集合中的键值对中的键值与reduce节点的映射关系时，采用哈希一致性算法，所以能够把每个分割集合中的键值对中的键值均衡地分配给各reduce节点，所以实现了reduce节点上的负载均衡，提高了任务的执行效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术基于MapReduce模型的任务执行方法流程图；

图2为本发明基于MapReduce模型的任务执行方法实施例一的流程图；

图3为本发明基于MapReduce模型的任务执行方法实施例二的流程图；

图4为本发明基于MapReduce模型的任务执行装置实施例一的结构示意图；

图5为本发明基于MapReduce模型的任务执行装置实施例二的结构示意图。

具体实施方式