[发明专利]一种基于智能处理器的任务调度系统

说明书

本发明公开了一种基于智能处理器的任务调度系统，包括用户层、系统层和硬件层；所述用户层包括用户接口库；所述系统层包括通信模块、任务预处理模块、任务队列、负载均衡模块和任务调度模块；所述硬件层包括智能处理器的任务缓存队列、应用字典、通信模块和若干容器。本发明提供了基于智能处理器的任务调度系统，在单机多智能处理器的条件下简化编程难度、简化应用部署、实现应用隔离、实现自主调度和最大化智能处理器的利用率，避免了系统的吞吐率较低、任务的相应时间较长、用户体验较差等后果。

技术领域

本发明涉及计算机信息处理，特别涉及一种基于智能处理器的任务调度系统。

背景技术

随着深度学习技术在图片分类、语言识别、物体分类、机器翻译等领域取得突破性进展，如：2012年的ImageNet竞赛中，Alex Krizhevshy等人利用卷积神经网络取得惊人的成绩；深度学习系统AlphaGo以总比分4：1战胜了韩国棋手李世石；Google研发的基于神经网络的机器翻译系统可以巨幅提高翻译的准确率。深度学习技术越来越被学术界和工业界重视。

然而网络的规模随着任务的复杂度的增大而增大，所需计算量也剧增，比如VGG16网络每次前向需要31G次浮点数计算。因此兼容深度学习算法的高性能低能耗加速器也成为了科研和商业机构的研究重点。

目前常见的硬件加速技术有专用集成电路ASIC(Application SpecificIntegrated Circuit)即智能处理器、现场可编程逻辑门阵列FPGA(Field ProgrammableGate Array)和图形处理器GPU(Graphics Processing Unit)。与GPU相比，智能处理器有更低的能耗；与FPGA相比，智能处理器有更高的性能。

然而智能处理器有着许多新特性，如：使用不同表示精度(如定点16位、定点8位、1比特等)、提供更高的性能、拥有更低的能耗比、支持用户数量有限等，导致智能处理器无法兼容大部分的任务调度和管理软件。又因为与普通应用相比，深度学习应用也有新特性，如：随着batchsize的增大硬件资源的利用率会上升但是任务的相应时间也会增大。这些新特性会增加程序员的编程复杂性、加大了应用部署的难度、增大了任务调度的复杂度和难以最大化智能处理器的利用率。

为了追求更高的性能，一台机器会使用多块GPU/智能处理器。在单机多卡的情况下，任务有了更多的调度选择有选择同时也引入负载均衡等问题，任务调度与管理变的更加复杂，最大化智能处理器的利用率变的更加困难。最终会导致系统的吞吐率较低、任务的相应时间较长、用户体验较差等严重后果。

发明内容

本发明目的是：提供一种基于智能处理器的任务调度系统，降低用户的编程复杂度，最大化智能处理器的利用率，提高可扩展性。使用该系统，能达到在单机多智能处理器的条件下降低程序员的编程难度、简化应用部署、实现应用隔离、实现自主调度、负载均衡和最大化智能处理器的利用率目的。

本发明的技术方案是：

一种基于智能处理器的任务调度系统，包括用户层、系统层和硬件层，所述用户层包括便捷的用户接口库；所述系统层包括通信模块、任务预处理模块、任务队列、负载均衡模块和任务调度模块；所述硬件层包括智能处理器的任务缓存队列、应用字典、通信模块和若干容器。

优选技术方案中，所述用户接口库由许多API组成，通过调用这些API，应用程序可以便捷的与该系统进行交互，提供的API包括但不仅限于应用查询、应用插入、发送任务和删除任务等功能，通信方式包括但不仅限于嵌套字、共享内存、管道、有名管道、信号量、信号和消息队列，通信的模式包括异步模式和同步模式。