[发明专利]一种基于Spark与GPU的并行计算系统

摘要

本发明属于并行计算技术领域，具体为一种基于Spark与GPU的并行计算框架系统。本发明基于YARN资源管理平台，通过改进其资源管理器与节点管理器，使其能够有效感知异构集群的GPU资源，从而支持对集群GPU资源的管理与调度；然后在YARN部署模式下，对Spark的作业调度机制与任务执行机制进行改进，使其支持对GPU型任务的调度与执行。通过在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识，使执行引擎能够感知GPU任务，并在异构集群中有效执行；同时利用Spark本身高效内存计算的特性，结合GPU多核并行计算的优势提出了在该框架下有效的编程模型。本发明能够有效的处理数据密集型与计算密集型作业，极大提高作业处理效率。

主权项

一种基于Spark与GPU的并行计算系统，其特征在于，包括：改进的的资源管理平台，其支持对GPU、CPU与内存等多维资源进行调度与管理；改进的Spark分布式计算框架，其支持对GPU型任务的调度与执行；(1)所述改进的的资源管理平台，包括：改进YARN的资源管理器与节点管理器，使其能够有效感知异构集群的GPU资源，从而支持对集群GPU资源的管理与调度；其中，包括资源表示模型、资源调度模型、资源抢占模型、资源隔离机制及GPU设备的动态绑定机制的改进；(2)所述改进的Spark分布式计算框架，包括：改进Spark的资源申请与分配机制、作业调度机制与任务执行机制，使其支持对GPU型任务的调度与执行；通过在资源申请、资源分配、DAG生成、stage划分与任务执行等阶段引入对GPU资源的标识，使其执行引擎能够感知GPU任务，并在异构集群中有效执行。