[发明专利]一种CPU/GPU的混合并行计算方法及装置在审
申请号: | 201510264320.2 | 申请日: | 2015-05-22 |
公开(公告)号: | CN104965689A | 公开(公告)日: | 2015-10-07 |
发明(设计)人: | 李清玉 | 申请(专利权)人: | 浪潮电子信息产业股份有限公司 |
主分类号: | G06F9/38 | 分类号: | G06F9/38 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 李世喆 |
地址: | 250100 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 cpu gpu 混合 并行 计算方法 装置 | ||
1.一种CPU/GPU的混合并行计算方法,其特征在于,利用一个以上的计算节点建立计算集群,每一个计算节点中包括CPU和GPU,确定调度策略;还包括:
获取一个以上的待处理任务;
将获取的所述一个以上的待处理任务缓存到任务队列中;
根据所述调度策略,将所述任务队列中的所述一个以上的待处理任务调度给一个以上的计算节点;
在被调度有待处理任务的计算节点中,CPU对调度的待处理任务逐个进行预处理,并在每预处理完一个任务则将预处理之后的任务映射到GPU的显存中;
GPU对映射到显存中的任务进行计算,并返回计算结果。
2.根据权利要求1所述的方法,其特征在于,在所述将所述任务队列中的所述一个以上的待处理任务调度给一个以上的计算节点之前,进一步包括:
遍历所述任务队列中所述一个以上的待处理任务;在每遍历一个待处理任务时获取当前遍历的待处理任务的操作属性并记录;在将所述任务队列遍历结束后,将具有相同操作属性的待处理任务合并为同一个任务;并对合并后的任务进行分组,并根据分组后的任务建立哈希索引区,以将分组后的任务保存在所述哈希索引区中。
3.根据权利要求1所述的方法,其特征在于,所述GPU对映射到显存中的任务进行计算,包括:
将映射到显存中的任务分割为一个以上的任务块,并针对每一个任务块分配相应的Map任务,并将每一个任务块对应的Map任务分配到GPU的各个SM处理器上,以利用各个SM处理器针对每一个任务块执行Map操作;
通过Shuffle操作将中间任务反向定位到GPU显存中,并在Reduce阶段汇总Map阶段的运算结果。
4.根据权利要求1-3中任一所述的方法,其特征在于,
进一步包括:预先设置访问控制列表,所述访问控制列表中包括任务及具有操作该任务权限的用户的对应关系;
在所述获取一个以上的待处理任务之前,进一步包括:根据所述访问控制列表确定提交待处理任务的用户是否具有对该待处理任务的操作权限,在具有时,执行获取该待处理任务的操作。
5.一种CPU/GPU的混合并行计算装置,其特征在于,利用一个以上的计算节点建立计算集群,每一个计算节点中包括CPU和GPU,确定调度策略,包括:
任务缓存模块,用于获取一个以上的待处理任务,并将获取的所述一个以上的待处理任务缓存到任务队列中;
任务调度模块,用于根据所述调度策略,将所述任务队列中的所述一个以上的待处理任务调度给一个以上的计算节点;
计算节点,用于在被调度有待处理任务时利用CPU对调度的待处理任务逐个进行预处理,并在每预处理完一个任务则将预处理之后的任务映射到GPU的显存中;利用GPU对映射到显存中的任务进行计算,并返回计算结果。
6.根据权利要求5所述的装置,其特征在于,
所述任务缓存模块,用于遍历所述任务队列中所述一个以上的待处理任务;在每遍历一个待处理任务时获取当前遍历的待处理任务的操作属性并记录;在将所述任务队列遍历结束后,将具有相同操作属性的待处理任务合并为同一个任务;并对合并后的任务进行分组,并根据分组后的任务建立哈希索引区,以将分组后的任务保存在所述哈希索引区中。
7.根据权利要求5所述的装置,其特征在于,所述计算节点,用于将映射到显存中的任务分割为一个以上的任务块,并针对每一个任务块分配相应的Map任务,并将每一个任务块对应的Map任务分配到GPU的各个SM处理器上,以利用各个SM处理器针对每一个任务块执行Map操作;通过Shuffle操作将中间任务反向定位到GPU显存中,并在Reduce阶段汇总Map阶段的运算结果。
8.根据权利要求5-7中任一所述的装置,其特征在于,进一步包括:
安全模块,用于根据预先设置的访问控制列表确定提交待处理任务的用户是否具有对该待处理任务的操作权限,在具有时,执行获取该待处理任务的操作,所述访问控制列表中包括任务及具有操作该任务权限的用户的对应关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮电子信息产业股份有限公司,未经浪潮电子信息产业股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510264320.2/1.html,转载请声明来源钻瓜专利网。