[发明专利]深度学习算力虚拟化方法

权利要求书

1.一种深度学习算力虚拟化方法，其特征在于，包括：

深度学习虚拟化平台统计业务请求到达的形态和规律，根据业务请求到达的形态和规律，智能预控制整个深度学习服务器集群的状态、以及预设置整个深度学习服务器集群的参数，以应付对该业务请求的形态和规律的预测；以及

深度学习虚拟化平台将业务请求下发至深度学习服务器时，进一步明确处理延时的要求和吞吐率的要求。

2.如权利要求1所述的深度学习算力虚拟化方法，其特征在于，所述业务请求到达的形态和规律包括：

单流类业务请求，其业务请求以流的形式到达，且单次到达的样本数为1；

多流类业务请求，其业务请求以流的形式到达，且单次到达多个样本；

服务器类业务请求，业务请求随机到达；以及

离线类业务请求，其所有业务请求和样本数据均批量到达；

各类业务请求对运算完成时限的敏感度排序为：单流类业务请求和多流类业务请求大于服务器类业务请求，服务器类业务请求大于离线类业务请求。

3.如权利要求2所述的深度学习算力虚拟化方法，其特征在于，还包括：

在单流类业务请求和多流类业务请求的应用场景下，深度学习虚拟化平台根据预先的业务设定情况，使得各深度学习服务器的调度按照既定策略进行静态分配，定期跟踪业务设定情况的变化；

预先的业务设定情况包括：各业务请求到达的间隔时间，预期需要完成业务请求的时限要求，单次到达的样本数量，以及需加载的模型实例种类；

所述既定策略包括：根据业务设定情况，一次性将所需的计算资源静态分配给各业务请求使用，并定时跟踪计算资源的耗用情况及运算完成的时限情况。如果出现业务未按照规律抵达或计算资源耗用异常，则作为故障上报。

4.如权利要求2所述的深度学习算力虚拟化方法，其特征在于，还包括：在服务器类业务请求的应用场景下，实时统计业务到达的具体情况、以及待处理任务的队列长度，得到业务到达规律的统计结果；

根据对业务到达规律的统计结果在底层计算硬件上采用动态方式加载模型实例，以加强并行处理能力，减少队列等候时间，以最经济的方式分配计算资源，同时使已分配的计算资源利用率最大化；

当针对某模型实例的计算请求等候队列的任务数量大于第一阈值且持续时间超出第二阈值，则从底层计算硬件上多加载1个模型实例，若任务数量持续大于第一阈值，则继续加载模型实例，直至恢复到正常业务吞吐水平；

当针对某模型实例的计算请求等候队列的任务数量小于第三阈值且持续时间超出第四阈值，则从底层计算硬件上释放1个模型实例，若任务数量持续小于第三阈值，则逐步减少模型实例，直至在正常业务吞吐水平下计算资源利用率达到预设水平。

5.如权利要求2所述的深度学习算力虚拟化方法，其特征在于，还包括：

在离线类业务请求的应用场景下，若预期的处理时间通过人为预订，则根据预期的处理时间和此刻计算资源的可用程度，一次性并行加载指定数量的模型实例，同时结合“批”加快运算处理。

6.如权利要求2所述的深度学习算力虚拟化方法，其特征在于，还包括：

深度学习虚拟化平台将虚拟化的所有资源进行汇总，根据汇总的资源将业务请求分配至深度学习服务器；以及

深度学习服务器通过本地算力聚合及任务分配系统将任务分配至其内部的各个深度学习单元，以使各个深度学习单元能够处理任务；

其中各个深度学习单元的算力被聚合在本地算力聚合及任务分配系统中。