[发明专利]基于CPU-GPU异构集群的大数据一体机实现方法

说明书

技术领域

本发明属于云计算技术领域，尤其涉及一种基于CPU-GPU异构集群的大数据一体机实现方法。

背景技术

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。MapReduce是Hadoop的核心组件，MapReduce提供了两项重要的操作：1)Map操作，用于处理key-value对，并产生中间结果；2)Reduce操作，用于将具有相同键的值规约起来，并产生最终结果。通过Map操作和Reduce操作很容易在Hadoop平台上进行分布式的计算编程。

图形处理器(Graphic Processing Unit，GPU)是一种配置有大规模计算单元的众核处理器，与CPU相比，它具有更快的计算能力和更高的内存带宽。

然而，现有的Hadoop只能运行于CPU集群，并没有考虑到GPU庞大的并行计算能力，导致海量数据计算运行效率偏低。

发明内容

鉴于此，本发明实施例提供一种基于CPU-GPU异构集群的大数据一体机实现方法，以实现在CPU-GPU异构集群上运行Hadoop，解决海量数据计算运行效率偏低的问题。

本发明实施例是这样实现的，一种基于CPU-GPU异构集群的大数据一体机实现方法，所述方法包括：

步骤一、搭建一个计算机集群，所述计算机集群中每个计算机作为一个节点，所述节点中包含一个配有CPU处理器的Master节点和其余配有CPU和GPU处理器的Slave节点，所述Master节点用于根据预定的任务调度策略对任务进行调度控制，所述Slave节点用于Map或Reduce的计算操作；

步骤二、选择CUDA作为GPU的计算模型，并将所述CUDA安装在所述Slave节点上；

步骤三、选择Hadoop提供的MapReduce模型，通过Master节点将任务划分成多个任务块，为每个任务块启动一个Map任务，并将所述Map任务发送给所述Slave节点进行计算；

步骤四、所述Slave节点根据自身CPU与GPU的计算能力，将接收到的所述Map任务划分成相应的比例后分给所述CPU或GPU上空闲的计算单元，执行Map和Reduce操作，并将操作结果发送给所述Master节点；

步骤五、所述Master节点接收各Slave节点反馈的操作结果，完成全部任务处理。

本发明实施例与现有技术相比存在的有益效果是：通过搭建一个由多台CPU与GPU组成的集群，并在集群上部署改进后的Hadoop平台，以实现在CPU-GPU异构集群上运行Hadoop。而且，在每个Slave节点上安装CUDA，从而可以实现对计算机集群上CPU和GPU计算资源的统一调度，使得具有大数据量且计算密集型的任务可以高效的完成，有效解决现有海量数据计算运行效率偏低的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的基于CPU-GPU异构集群的大数据一体机实现方法的实现流程图；

图2是本发明实施例一提供的所述方法实施框架的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明实施例一提供的基于CPU-GPU异构集群的大数据一体机实现方法的实现流程，该方法过程详述如下：

在步骤S101中，搭建一个计算机集群，所述计算机集群中每个计算机作为一个节点，所述节点中包含一个配有CPU处理器的Master节点和其余配有CPU和GPU处理器的Slave节点，所述Master节点用于根据预定的任务调度策略对任务进行调度控制，所述Slave节点用于Map或Reduce的计算操作。