[发明专利]面向异构众核处理器的AI框架两级并行加速方法

说明书

本发明公开一种面向异构众核处理器的AI框架两级并行加速方法，包括以下步骤：AI框架调用模型优化模块优化深度学习模型或者预训练好的模型，将其组织成更具可并行性的树形计算图；AI框架将优化后的树形计算图转换成由计算任务组成的线程池；线程管理模块根据相关性将线程池组织成不同的线程队列；线程管理模块监测各个核组的状态，如果发现某个核组处于空闲状态，则将某队列的计算任务调度到该核组上执行；当整个运行任务完成后，线程管理模块和核组管理模块均中止运行，等到下一次运行任务开始后。本发明可以充分利用异构众核的多级存储资源和计算能力，实现自动化的AI框架两级并行加速，显著提升AI框架在异构众核上的好用性和高性能。

技术领域

本发明涉及一种面向异构众核处理器的AI框架两级并行加速方法，用于面向异构众核处理器的AI框架，属于计算技术领域。

背景技术

当前，AI框架是支撑深度学习领域应用的重要基础软件，经过多年发展，AI框架在传统CPU多核处理器、GPU、AI专用芯片等架构上优化效果显著。在多核CPU架构上，AI框架一般通过多线程实现并行计算，将运算中的核心计算（也就是算子）组织成线程池进行自动调度，在算子内部也通过多线程并行运算；在GPU架构上，AI框架将算子下发到加速卡上进行加速，框架运行在主机上，仅做调度和控制，主体运算都在加速卡上进行。

与传统的处理器架构都有所不同，异构众核处理器采用的是异构融合架构，主核核心和从核阵列构成一个核组，多个核组集成在一个处理器上，并且具有多层存储层次，主核核心主要负责控制，从核阵列负责协同加速计算。在这种特殊架构下，传统AI框架的设计方法并不能很好的适应，无法高效利用这种两层并行架构。因此，在异构众核处理器上，AI框架如何高效利用其多级存储层次和强大的计算能力是一个挑战。

发明内容

本发明的目的是提供一种面向异构众核处理器的AI框架两级并行加速方法，可以充分利用异构众核的多级存储资源和计算能力，实现自动化的AI框架两级并行加速，显著提升AI框架在异构众核上的好用性和高性能。

为达到上述目的，本发明提供一种面向异构众核处理器的AI框架两级并行加速方法，基于以下功能模块：

模型优化模块：用于对模型做适当的分裂，将一些串行的计算图转换为树状计算图；

线程管理模块：用于管理AI框架的线程池，并将各个线程调度到空闲的核组上去；

核组管理模块：用于将计算任务并行分配到各个从核上执行，并在检测到所有从核都完成计算之后，向线程管理模块报告计算任务完成，且将自身置于空闲状态；

所述加速方法包括以下步骤：

步骤1、AI框架调用模型优化模块优化深度学习模型或者预训练好的模型，将其组织成更具可并行性的树形计算图；

步骤2、AI框架将步骤1中优化后的树形计算图转换成由计算任务组成的线程池；

步骤3、线程管理模块根据相关性将步骤2中获得的线程池组织成不同的线程队列，不同队列间的计算任务不具相关性，可以并行执行，同一队列内部的计算任务则必须按任务执行；

步骤4、线程管理模块监测各个核组的状态，如果发现某个核组处于空闲状态，则将某队列的计算任务调度到该核组上执行，并且保障同时运行于各个核组上的计算任务分属于不同的计算队列；

当某个核组完成计算任务并处于空闲状态时，线程管理模块继续分配计算任务到该核组，直到所有队列的计算任务都全部完成；

当某个核组接收到计算任务时，核组管理模块将计算任务并行分配到各个从核上执行，并监测各从核的运行状态，等到所有从核都完成计算任务并处于空闲状态后，核组管理模块向线程管理模块报告任务完成，并等待下一个计算任务的分配；

步骤5、当整个运行任务完成后，线程管理模块和核组管理模块均中止运行，等到下一次运行任务开始后，线程管理模块和核组管理模块均进入监测状态，等候线程任务和核组计算任务的分配。

上述技术方案中进一步改进的方案如下：