[发明专利]一种CPU/GPU的混合并行计算方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种CPU/GPU的混合并行计算方法及装置。

背景技术

随着计算机技术的迅速发展，数据的处理级别也越来越大。为了解决日渐紧迫的大数据处理问题，目前已经提出了MapReduce编程模型，MapReduce是一种分布式编程模型，可以方便地把海量数据集分发到计算集群的各节点上，以使多个节点共同处理，从而实现大数据的快速处理。

为了进一步提高MapReduce的计算性能，学术界和工业界对此都做出了许多相关的研究。单核GPU(Graphics Processing Unit，图形处理器)的出现给系统的性能提升带来了巨大的效果，其中，GPU中包含上百个流处理核心，其计算性能超过了每秒万亿次级别，相当于一个高性能计算集群，从而可以实现海量数据的快速计算。

然而，利用单核GPU来实现的MapReduce编程模型，导致计算效率较低。

发明内容

有鉴于此，本发明提供一种CPU/GPU的混合并行计算方法及装置，以已解决现有技术中计算效率较低的问题。

本发明实施例提供了一种CPU/GPU的混合并行计算方法，利用一个以上的计算节点建立计算集群，每一个计算节点中包括CPU和GPU，确定调度策略；还包括：

获取一个以上的待处理任务；

将获取的所述一个以上的待处理任务缓存到任务队列中；

根据所述调度策略，将所述任务队列中的所述一个以上的待处理任务调度给一个以上的计算节点；

在被调度有待处理任务的计算节点中，CPU对调度的待处理任务逐个进行预处理，并在每预处理完一个任务则将预处理之后的任务映射到GPU的显存中；

GPU对映射到显存中的任务进行计算，并返回计算结果。

优选地，在所述将所述任务队列中的所述一个以上的待处理任务调度给一个以上的计算节点之前，进一步包括：

遍历所述任务队列中所述一个以上的待处理任务；在每遍历一个待处理任务时获取当前遍历的待处理任务的操作属性并记录；在将所述任务队列遍历结束后，将具有相同操作属性的待处理任务合并为同一个任务；并对合并后的任务进行分组，并根据分组后的任务建立哈希索引区，以将分组后的任务保存在所述哈希索引区中。

优选地，所述GPU对映射到显存中的任务进行计算，包括：

将映射到显存中的任务分割为一个以上的任务块，并针对每一个任务块分配相应的Map任务，并将每一个任务块对应的Map任务分配到GPU的各个SM处理器上，以利用各个SM处理器针对每一个任务块执行Map操作；

通过Shuffle操作将中间任务反向定位到GPU显存中，并在Reduce阶段汇总Map阶段的运算结果。

优选地，

进一步包括：预先设置访问控制列表，所述访问控制列表中包括任务及具有操作该任务权限的用户的对应关系；

在所述获取一个以上的待处理任务之前，进一步包括：根据所述访问控制列表确定提交待处理任务的用户是否具有对该待处理任务的操作权限，在具有时，执行获取该待处理任务的操作。

本发明实施例还提供了一种CPU/GPU的混合并行计算装置，利用一个以上的计算节点建立计算集群，每一个计算节点中包括CPU和GPU，确定调度策略，包括：

任务缓存模块，用于获取一个以上的待处理任务，并将获取的所述一个以上的待处理任务缓存到任务队列中；

任务调度模块，用于根据所述调度策略，将所述任务队列中的所述一个以上的待处理任务调度给一个以上的计算节点；

计算节点，用于在被调度有待处理任务时利用CPU对调度的待处理任务逐个进行预处理，并在每预处理完一个任务则将预处理之后的任务映射到GPU的显存中；利用GPU对映射到显存中的任务进行计算，并返回计算结果。

优选地，

所述任务缓存模块，用于遍历所述任务队列中所述一个以上的待处理任务；在每遍历一个待处理任务时获取当前遍历的待处理任务的操作属性并记录；在将所述任务队列遍历结束后，将具有相同操作属性的待处理任务合并为同一个任务；并对合并后的任务进行分组，并根据分组后的任务建立哈希索引区，以将分组后的任务保存在所述哈希索引区中。