[发明专利]深度学习算力虚拟化方法

说明书

本发明提供了一种深度学习算力虚拟化方法，包括：深度学习虚拟化平台统计业务请求到达的形态和规律，根据业务请求到达的形态和规律，智能预控制整个深度学习服务器集群的状态、以及预设置整个深度学习服务器集群的参数，以应付对该业务请求的形态和规律的预测；以及深度学习虚拟化平台将业务请求下发至深度学习服务器时，进一步明确处理延时的要求和吞吐率的要求。

技术领域

本发明涉及虚拟化技术领域，特别涉及一种深度学习算力虚拟化方法。

背景技术

传统的基于CPU的服务器已经可以通过虚拟化技术实现计算资源、存储资源和网络连接的虚拟化，使上述三种资源在单台物理服务器内可被分割被多个应用调用，也可以在多台物理服务器间被池化聚合。

目前深度学习普遍采用GPU方案，GPU的虚拟化，目前的主要技术提供方为NVIDIA的vGPU和AMD的MxGPU。

NVIDIA基于多GPU算力汇聚的深度学习推理服务器(inference server)方案如图1所示，模型池(model repository)内部存放各类深度神经网络模型，模型管理器(modelmanagement)负责在底部单个或多个GPU的物理硬件上加载可供满足推理业务请求的不同网络模型的实例(model instance，通常包含深度神经网络模型结构和权重参数)。调度器(scheduler)负责根据推理业务请求的种类(无结果状态传递的网络模型statelessmodel，有结果状态传递的网络模型stateful model，结果嵌套的协同模型组ensemblemodel)，将其分配到在GPU上不同的网络模型实例中去运算获得结果，分配过程中会进一步根据模型种类的差异，配置不同的批处理策略，从而提高GPU的利用率。但现有的GPU虚拟化方案的灵活性和效率还有待提高，尚不能完全满足深度学习算力虚拟化需求。

发明内容

本发明的目的在于提供一种深度学习算力虚拟化方法，以解决现有的GPU虚拟化方案的灵活性和效率不能完全满足深度学习算力虚拟化需求的问题。

为解决上述技术问题，本发明提供一种深度学习算力虚拟化方法，包括：

深度学习虚拟化平台统计业务请求到达的形态和规律，根据业务请求到达的形态和规律，智能预控制整个深度学习服务器集群的状态、以及预设置整个深度学习服务器集群的参数，以应付对该业务请求的形态和规律的预测；以及

深度学习虚拟化平台将业务请求下发至深度学习服务器时，进一步明确处理延时的要求和吞吐率的要求。

可选的，在所述的深度学习算力虚拟化方法中，所述业务请求到达的形态和规律包括：

单流类业务请求，其以顺序的方式查询生成，规律为90％的延迟，样本数为1，用于打字自动完成、实时AR；

多流类业务请求，其以到达间隔与下降的方式查询生成，规律为受延迟限制的流数量，样本数为N，用于多摄像头驾驶员辅助、大规模自动化；

服务器类业务请求，其以泊松分布的方式查询生成，规律为受延迟限制的每秒查询数，样本数为1，用于翻译网站；以及

离线类业务请求，其以批的方式查询生成，规律为吞吐量，样本数为至少24,576，用于照片分类。

可选的，在所述的深度学习算力虚拟化方法中，还包括：

在单流类业务请求和多流类业务请求的应用场景下，深度学习虚拟化平台根据预先的业务设定情况，使得各深度学习服务器的调度按照既定策略进行静态分配，定期跟踪业务设定情况的变化；

预先的业务设定情况包括：各业务请求到达的间隔时间，预期需要完成业务请求的时限要求，单次到达的样本数量，以及需加载的模型实例种类；