[发明专利]基于CPU-GPU异构集群的大数据一体机实现方法

摘要

本发明适用于云计算技术领域，提供了一种基于CPU-GPU异构集群的大数据一体机实现方法，所述方法包括：搭建一个计算机集群，所述计算机集群中包含一个配有CPU处理器的Master节点和其余配有CPU和GPU处理器的Slave节点；将CUDA安装在Slave节点上；选择Hadoop提供的MapReduce模型，为每个任务块启动一个Map任务，并将Map任务发送给Slave节点进行计算；Slave节点将接收到的Map任务划分成相应的比例后分给CPU或GPU，以执行Map和Reduce操作，并将操作结果发送给Master节点；Master节点接收各Slave节点反馈的操作结果，完成全部任务处理。

主权项

一种基于CPU‑GPU异构集群的大数据一体机实现方法，其特征在于，所述方法包括：步骤一、搭建一个计算机集群，所述计算机集群中每个计算机作为一个节点，所述节点中包含一个配有CPU处理器的Master节点和其余配有CPU和GPU处理器的Slave节点，所述Master节点用于根据预定的任务调度策略对任务进行调度控制，所述Slave节点用于Map或Reduce的计算操作；步骤二、选择CUDA作为GPU的计算模型，并将所述CUDA安装在所述Slave节点上；步骤三、选择Hadoop提供的MapReduce模型，通过Master节点将任务划分成多个任务块，为每个任务块启动一个Map任务，并将所述Map任务发送给所述Slave节点进行计算；步骤四、所述Slave节点根据自身CPU与GPU的计算能力，将接收到的所述Map任务划分成相应的比例后分给所述CPU或GPU上空闲的计算单元，执行Map和Reduce操作，并将操作结果发送给所述Master节点；步骤五、所述Master节点接收各Slave节点反馈的操作结果，完成全部任务处理。