[发明专利]一种基于异构计算的任务处理方法及软硬件框架系统

权利要求书

1.一种基于异构计算的任务处理方法，应用于包括多个异构单元的工作节点，所述方法包括：

将人工智能分析任务分解为一级或多级子任务，其中，不同级的子任务的类型不同，同一类型的子任务对应一个分析功能单元服务；

通过所述一级或多级子任务对应的一个或多个分析功能单元服务采用分级数据流的方式完成所述人工智能分析任务，其中，每一分析功能单元服务对多个异构单元统一调度以执行相应的子任务。

2.根据权利要求1所述的方法，其特征在于，每一分析功能单元服务为一个进程，对应一个运行上下文环境。

3.根据权利要求1所述的方法，其特征在于，所述多级子任务由同一异构单元流式执行，或者由至少两个异构单元流式执行。

4.根据权利要求1所述的方法，其特征在于，所述工作节点通过标准的软件标准命令解析层Software Shell和硬件标准命令解析层Hardware Shell实现以下标准特性：单个工作节点内存统一化；单个异构单元多任务进程并发支持；异构单元之间远程直接数据存取RDMA；异构单元计算和传输并发。

5.根据权利要求4所述的方法，其特征在于，不同分析功能单元服务之间通过硬件抽象层HAL提供的RDMA内存服务实现数据流交互。

6.根据权利要求1所述的方法，其特征在于，每一分析功能单元服务记录对应的子任务的运行结果快照。

7.根据权利要求1所述的方法，其特征在于，所述工作节点上部署异构计算管理框架，用于支持基于异构守护进程的异构单元；所述异构计算管理框架至少包括：异构守护客户端、异构守护服务端；

所述异构守护客户端适于维护和管理人工智能分析任务的加速计算任务队列，管理客户端侧任务场景，并提供客户端侧人工智能分析任务的输入数据和输出数据的读写标准接口；

所述异构守护服务端包括应用层任务管理模块以及内核层加速模块块型驱动管理模块；所述应用层任务管理模块适于提供客户端服务接口，维护和管理服务端侧人工智能分析任务的加速计算任务队列，管理服务端侧任务场景；所述内核层加速模块块型驱动管理模块适于提供块驱动数据读写接口，管理和调度加速模块的通道和队列。

8.根据权利要求1所述的方法，其特征在于，所述异构单元包括以下一种或多种：中央处理器CPU、图形处理器GPU、现场可编程门阵列FPGA、专用集成电路ASIC。

9.根据权利要求1所述的方法，其特征在于，所述人工智能分析任务包括视觉人工智能推理任务；所述视觉人工智能推理任务对应的分析功能单元服务包括：视频图像格式解码服务、图像中目标检测服务、图像中目标跟踪和最优选择服务、目标特征值提取服务。

10.根据权利要求1所述的方法，其特征在于，所述将人工智能分析任务分解为一级或多级子任务之前，所述方法还包括：确定所述工作节点的本地资源满足所述人工智能分析任务的执行条件。

11.根据权利要求10所述的方法，其特征在于，多个所述工作节点组成的集群中部署有全局调度模块，且所述集群中存储全局任务状态信息；

所述方法还包括：当所述工作节点确定本地资源无法满足所述人工智能分析任务的执行条件，将所述人工智能分析任务提交给所述集群的全局调度模块，由所述全局调度模块通过查询所述全局任务状态信息，确定执行所述人工智能分析任务的工作节点。

12.根据权利要求1所述的方法，其特征在于，所述将人工智能分析任务分解为一级或多级子任务，包括：

根据所述人工智能分析任务的任务类型，确定所述任务类型对应的已注册服务集合信息；根据所述已注册服务集合信息，将所述人工智能分析任务分解为一级或多级子任务，其中，每一级子任务对应一个分析功能单元服务。