[发明专利]深度神经网络服务批处理调度方法、系统及GPU

说明书

本发明提供一种深度神经网络服务批处理调度方法、系统及GPU，所述深度神经网络服务批处理调度方法包括：构建包含多个批处理调度策略的批处理调度策略池；基于用户输入的服务质量要求信息和神经网络模型的类型确定对应的批处理调度策略，并配置所述确定的批处理调度策略；基于批处理调度策略的配置情况对所述神经网络模型执行服务调度。本发明可以为新兴的深度神经网络技术落地提供支持，可以构建具有商业意义的、基于模型多样性感知的深度神经网络服务批处理调度系统，面向用户简化神经网络推理调度服务的优化，优化整个神经网络的服务响应速度。

技术领域

本发明涉及人工智能技术领域，特别是涉及大神经网络技术领域。

背景技术

随着诸如语音识别，机器翻译，个人私人助手等计算密集型应用的大量部署，主流的私用数据中心或公用云平台已经开始大量使用像GPU等协处理器来应对传统CPU计算能力不足的问题。GPU最开始是为图形图像计算而设计的专用处理器，而由于其具有传统CPU所无法匹敌的并行性，越来越多的非图形图像应用迁移到GPU平台以满足其迅速增长的计算需求。研究表明，非图形图像应用往往不具有足够的的并行度以充分利用GPU的硬件资源，从而导致硬件资源的浪费。另一方面，由于GPU架构及工艺的发展，越来越多的流多处理器(Streaming Multiprocessor，SM)被集成到一块GPU之中，使得资源浪费的问题更加突出。

深度神经网络在近十年中得到了快速发展，各种各样的深度神经网络模型涌现而出，目前GPU已经被广泛应用于提供基于深度神经网络的在线服务中。但是，不同的模型在GPU上的运行性能大相径庭，如何根据模型的差异性定制化GPU上的服务批处理调度算法，提供快响应的服务，提高系统吞吐等成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种深度神经网络服务批处理调度方法、系统及GPU，用于在无需增加硬件设备的前提下，优化整个神经网络的服务响应速度。

为实现上述目的及其他相关目的，本发明提供一种深度神经网络服务批处理调度方法，包括：构建包含多个批处理调度策略的批处理调度策略池；基于用户输入的服务质量要求信息和神经网络模型的类型确定对应的批处理调度策略，并配置所述确定的批处理调度策略；基于批处理调度策略的配置情况对所述神经网络模型执行服务调度。

于本发明的一实施例中，所述批处理调度策略包括AutoReduce批处理调度策略；所述AutoReduce批处理调度策略中，将单个卷积神经网络模型切分为前后两部分，对所述单个卷积神经网络模型的前后部分别采取不同的批处理策略。

于本发明的一实施例中，所述AutoReduce策略包括由多个合并引擎组成的合并引擎簇和归一引擎；所述合并引擎簇中的各合并子引擎负责所述单个卷积神经网络模型执行的前半部分，所述归一引擎负责合并引擎簇执行完成后的所述单个卷积神经网络模型的剩余后半部分。

于本发明的一实施例中，所述配置所述确定的批处理调度策略包括：配置卷积神经网络模型加入到所述合并引擎簇的卷积操作符的数量。

于本发明的一实施例中，所述批处理调度策略包括PipeLine批处理调度策略；所述PipeLine批处理调度策略中，将单个卷积神经网络模型切分为多段等执行时间长的子模型，并将各子模型组织成为软件流水线。

于本发明的一实施例中，所述配置所述确定的批处理调度策略包括：配置将各子模型组织成为软件流水线后的流水线级数。

于本发明的一实施例中，所述基于批处理调度策略的配置情况对所述神经网络模型执行服务调度包括：基于用户需求将所述神经网络模型切分成多个子模型，并为多个子模型生成对应的的执行子引擎，通过所述各执行子引擎对所述神经网络模型的各子模型执行服务调度。

于本发明的一实施例中，所述服务质量要求信息包括深度神经网络推理请求的处理延迟。