[发明专利]深度学习算力虚拟化系统

说明书

本发明提供了一种深度学习算力虚拟化系统，包括：深度学习虚拟化平台，被配置为将虚拟化的所有资源进行汇总，根据汇总的资源将业务请求分配至深度学习服务器；以及深度学习服务器，被配置为通过本地算力聚合及任务分配系统将任务分配至其内部的各个深度学习单元，以使各个深度学习单元能够处理任务；其中各个深度学习单元的算力被聚合在本地算力聚合及任务分配系统中。

技术领域

本发明涉及虚拟化技术领域，特别涉及一种深度学习算力虚拟化系统。

背景技术

传统的基于CPU的服务器已经可以通过虚拟化技术实现计算资源、存储资源和网络连接的虚拟化，使上述三种资源在单台物理服务器内可被分割被多个应用调用，也可以在多台物理服务器间被池化聚合。

目前深度学习普遍采用GPU方案，GPU的虚拟化，目前的主要技术提供方为NVIDIA的vGPU和AMD的MxGPU。

NVIDIA基于多GPU算力汇聚的深度学习推理服务器(inference server)方案如图1所示，模型池(model repository)内部存放各类深度神经网络模型，模型管理器(modelmanagement)负责在底部单个或多个GPU的物理硬件上加载可供满足推理业务请求的不同网络模型的实例(model instance，通常包含深度神经网络模型结构和权重参数)。调度器(scheduler)负责根据推理业务请求的种类(无结果状态传递的网络模型statelessmodel，有结果状态传递的网络模型stateful model，结果嵌套的协同模型组ensemblemodel)，将其分配到在GPU上不同的网络模型实例中去运算获得结果，分配过程中会进一步根据模型种类的差异，配置不同的批处理策略，从而提高GPU的利用率。但现有的GPU虚拟化方案的灵活性和效率还有待提高，尚不能完全满足深度学习算力虚拟化需求。

发明内容

本发明的目的在于提供一种深度学习算力虚拟化系统，以解决现有的GPU虚拟化方案的灵活性和效率不能完全满足深度学习算力虚拟化需求的问题。

为解决上述技术问题，本发明提供一种深度学习算力虚拟化系统，包括：

深度学习虚拟化平台，被配置为将虚拟化的所有资源进行汇总，根据汇总的资源将业务请求分配至深度学习服务器；以及

深度学习服务器，被配置为通过本地算力聚合及任务分配系统将任务分配至其内部的各个深度学习单元，以使各个深度学习单元能够处理任务；

其中各个深度学习单元的算力被聚合在本地算力聚合及任务分配系统中。

可选的，在所述的深度学习算力虚拟化系统中，所述本地算力聚合及任务分配系统包括：

本地模型池，被配置为对接深度学习虚拟化平台的总模型池；

运算任务请求接口，被配置为与深度学习虚拟化平台对接任务和处理结果；

模型管理器，被配置为在底层计算硬件上加载模型实例；

任务调度器，被配置为将运算任务送往底层计算硬件上的模型实例进行计算，以及将运算任务拼成“批”以提高效率；以及

状态采集器，被配置为采集本深度学习服务器的算力总资源、当前算力占用比例、任务处理速度、队列种类及队列等待长度，上报深度学习虚拟化平台。

可选的，在所述的深度学习算力虚拟化系统中，所述本地模型池中的模型由深度学习虚拟化平台统一分配管理；

在收到深度学习虚拟化平台传送的深度神经网络模型后，本地模型池将深度神经网络模型的深度学习框架转换为底层硬件可识别格式，以使其能够在本地的深度学习单元上运行；

底层硬件可识别格式包括描述网络结构的.json和网络权重参数的.bin文件。