[发明专利]深度学习算力虚拟化系统

权利要求书

1.一种深度学习算力虚拟化系统，其特征在于，包括：

深度学习虚拟化平台，被配置为将虚拟化的所有资源进行汇总，根据汇总的资源将业务请求分配至深度学习服务器；以及

深度学习服务器，被配置为通过本地算力聚合及任务分配系统将任务分配至其内部的各个深度学习单元，以使各个深度学习单元能够处理任务；

其中各个深度学习单元的算力被聚合在本地算力聚合及任务分配系统中。

2.如权利要求1所述的深度学习算力虚拟化系统，其特征在于，所述本地算力聚合及任务分配系统包括：

本地模型池，被配置为对接深度学习虚拟化平台的总模型池；

运算任务请求接口，被配置为与深度学习虚拟化平台对接任务和处理结果；

模型管理器，被配置为在底层计算硬件上加载模型实例；

任务调度器，被配置为将运算任务送往底层计算硬件上的模型实例进行计算，以及将运算任务拼成“批”以提高效率；以及

状态采集器，被配置为采集本深度学习服务器的算力总资源、当前算力占用比例、任务处理速度、队列种类及队列等待长度，上报深度学习虚拟化平台。

3.如权利要求2所述的深度学习算力虚拟化系统，其特征在于，所述本地模型池中的模型由深度学习虚拟化平台统一分配管理；

在收到深度学习虚拟化平台传送的深度神经网络模型后，本地模型池将深度神经网络模型的深度学习框架转换为底层硬件可识别格式，以使其能够在本地的深度学习单元上运行。

4.如权利要求2所述的深度学习算力虚拟化系统，其特征在于，所述运算任务请求接口与深度学习虚拟化平台的任务分配相互衔接；

深度学习虚拟化平台将运算业务请求根据各个深度学习服务器的算力资源状态和模型加载情况，转发至具体的某深度学习服务器的运算任务请求接口；

所述运算任务请求接口通过解析来自深度学习虚拟化平台的运算任务请求的帧格式接受运算任务，以进行队列缓存和处理结果的组帧输出。

5.如权利要求2所述的深度学习算力虚拟化系统，其特征在于，所述模型管理器负责根据运算任务请求及队列缓存情况，在底层计算硬件上预加载单个模型实例或多个模型实例，以更高的带宽处理运算任务请求；

在模型实例的加载过程和变动过程中，模型实例与运算任务之间设置软件保护锁。

6.如权利要求1所述的深度学习算力虚拟化系统，其特征在于，所述深度学习虚拟化平台还被配置为：

通过HTTP的方式接受外部用户的业务请求，并通过HTTP的方式将深度学习服务器生成的处理结果提供至外部用户。

7.如权利要求1所述的深度学习算力虚拟化系统，其特征在于，所述深度学习虚拟化平台还被配置为：

将各深度学习服务器内部的可用算力的资源状态实时汇总，以便从深度学习服务器集群的视角来调度资源和分配任务。

8.如权利要求1所述的深度学习算力虚拟化系统，其特征在于，所述深度学习虚拟化平台具备总模型池，其中：

所述总模型池被配置为统一管理各深度神经网络模型；

其中所述深度神经网络模型包括网络结构描述及网络权值参数，以及所述深度神经网络模型采用深度学习框架存放。

9.如权利要求1所述的深度学习算力虚拟化系统，其特征在于，所述深度学习虚拟化平台还被配置为：

统计业务请求到达的形态和规律，根据业务请求到达的形态和规律，智能预控制整个深度学习服务器集群的状态、以及预设置整个深度学习服务器集群的参数，以应付对该业务请求的形态和规律的预测；

将业务请求下发至深度学习服务器时，进一步明确处理延时的要求和吞吐率的要求。