[发明专利]面向异构众核处理器的AI框架两级并行加速方法

权利要求书

1.一种面向异构众核处理器的AI框架两级并行加速方法，其特征在于，基于以下功能模块：

模型优化模块：用于对模型做适当的分裂，将一些串行的计算图转换为树状计算图；

线程管理模块：用于管理AI框架的线程池，并将各个线程调度到空闲的核组上去；

核组管理模块：用于将计算任务并行分配到各个从核上执行，并在检测到所有从核都完成计算之后，向线程管理模块报告计算任务完成，且将自身置于空闲状态；

所述加速方法包括以下步骤：

步骤1、AI框架调用模型优化模块优化深度学习模型或者预训练好的模型，将其组织成更具可并行性的树形计算图；

步骤2、AI框架将步骤1中优化后的树形计算图转换成由计算任务组成的线程池；

步骤3、线程管理模块根据相关性将步骤2中获得的线程池组织成不同的线程队列，不同队列间的计算任务不具相关性，可以并行执行，同一队列内部的计算任务则必须按任务执行；

步骤4、线程管理模块监测各个核组的状态，如果发现某个核组处于空闲状态，则将某队列的计算任务调度到该核组上执行，并且保障同时运行于各个核组上的计算任务分属于不同的计算队列；

当某个核组完成计算任务并处于空闲状态时，线程管理模块继续分配计算任务到该核组，直到所有队列的计算任务都全部完成；

当某个核组接收到计算任务时，核组管理模块将计算任务并行分配到各个从核上执行，并监测各从核的运行状态，等到所有从核都完成计算任务并处于空闲状态后，核组管理模块向线程管理模块报告任务完成，并等待下一个计算任务的分配；

步骤5、当整个运行任务完成后，线程管理模块和核组管理模块均中止运行，等到下一次运行任务开始后，线程管理模块和核组管理模块均进入监测状态，等候线程任务和核组计算任务的分配。

2.根据权利要求1所述的面向异构众核处理器的AI框架两级并行加速方法，其特征在于：所述线程管理模块被配置为：

自动检测所有的核组资源，当发现处于空闲状态的核组时，在线程池中选择一个计算任务分配到该线程上，并将该核组资源置为忙碌状态；

继续调度可并行的计算任务到其他核组直至所有核组都处于忙碌状态；

进入监测状态，等到下一次的任务分配。

3.根据权利要求1所述的面向异构众核处理器的AI框架两级并行加速方法，其特征在于：当某个核组接收到线程管理模块分配到的计算任务后，由主核负责运行一个核组管理模块。

4.根据权利要求1所述的面向异构众核处理器的AI框架两级并行加速方法，其特征在于：步骤3中线程管理模块根据异构众核处理器的核组个数构建相应的线程队列。