[发明专利]一种基于异构计算的任务处理方法及软硬件框架系统

说明书

本申请公开了一种基于异构计算的任务处理方法及软硬件框架系统；上述任务处理方法，包括：将人工智能分析任务分解为一级或多级子任务，通过一级或多级子任务对应的一个或多个分析功能单元服务采用分级数据流的方式完成人工智能分析任务；其中，不同级的子任务的类型不同，同一类型的子任务对应一个分析功能单元服务，每一分析功能单元服务对多个异构单元统一调度以执行相应的子任务。

技术领域

本申请实施例涉及但不限于人工智能数据处理技术领域，尤指一种基于异构计算的任务处理方法及软硬件框架系统。

背景技术

人工智能视觉技术随着人脸技术的广泛应用，已经在安防、商业、金融、教育领域得到了大量的关注和落地实践。由于当前深度学习技术的算法实现需要非常庞大的算力支持，只在中央处理器(CPU，Central Processing Unit)上运行相应算法实现已经不能满足用户需要，特别是在边缘侧的人工智能落地应用。大量厂商开始采用异构混合加速模块的方式搭建高密度处理一体机，并构建集群提供统一的服务能力给终端用户。其中，图形处理器(GPU，Graphics Processing Unit)、现场可编程门阵列(FPGA，Field-ProgrammableGate Array)甚至包含专用集成电路(ASIC，Application Specific IntegratedCircuits)作为加速模块的方式开始日益普及。

发明内容

本申请实施例提供一种基于异构计算的任务处理方法及软硬件框架系统，可以提供高性能的服务能力。

一方面，本申请实施例提供一种基于异构计算的任务处理方法，应用于包括多个异构单元的工作节点，上述任务处理方法包括：将人工智能分析任务分解为一级或多级子任务；通过所述一级或多级子任务对应的一个或多个分析功能单元服务采用分级数据流的方式完成所述人工智能分析任务；其中，不同级的子任务的类型不同，同一类型的子任务对应一个分析功能单元服务，每一分析功能单元服务对多个异构单元统一调度以执行相应的子任务。

另一方面，本申请实施例提供一种基于异构计算的软硬件框架系统，包括：至少一个工作节点，任一工作节点包括多个异构单元；所述工作节点适于将人工智能分析任务分解为一级或多级子任务，并通过所述一级或多级子任务对应的一个或多个分析功能单元服务采用分级数据流的方式完成所述人工智能分析任务；其中，不同级的子任务的类型不同，同一类型的子任务对应一个分析功能单元服务，每一分析功能单元服务对所述工作节点的多个异构单元统一调度以执行相应的子任务。

另一方面，本申请实施例提供一种基于异构计算的任务处理装置，包括：异构计算管理模块以及多个异构单元；所述异构计算管理模块适于将人工智能分析任务分解为一级或多级子任务，并通过所述一级或多级子任务对应的一个或多个分析功能单元服务采用分级数据流的方式完成所述人工智能分析任务；其中，不同级的子任务的类型不同，同一类型的子任务对应一个分析功能单元服务，每一分析功能单元服务对多个异构单元统一调度以执行相应的子任务。

另一方面，本申请实施例提供一种计算机可读介质，存储有基于异构计算的任务处理程序，所述任务处理程序被执行时实现上述基于异构计算的任务处理方法的步骤。

本申请实施例中，人工智能分析任务可以被统一管理异构单元的分析功能单元服务通过分级数据流的方式组合完成。本实施例可以基于分析功能单元服务实现承载的多异构单元的模型共享、服务隔离以及服务流集成，从而减少相同模型的加载时间，提高任务执行效率，并提高流处理的整体运行稳定性。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。