[发明专利]神经网络模型处理方法、装置、计算机设备及存储介质

说明书

本申请实施例公开了一种神经网络处理方法、装置、计算机设备及存储介质，把一个算子拆分成多个规模更小的子算子，这样可以直接调用单核架构下的计算库，充分利用了多核处理器的硬件资源，从而可以避免重现实现的额外工作量。

技术领域

本申请涉及计算机技术领域，尤其涉及一种神经网络模型处理方法、装置、计算机设备及存储介质。

背景技术

随着人工智能技术的快速发展，基于内存共享模型的多核处理器已经成为了当前处理器的主流架构，这种多核架构和每个核内的向量处理能力同样可以应用到神经网络计算中。在实际应用中，通常可以采用数据并行的方式来充分利用多核处理器架构所带来的额外硬件资源，即令每个处理器核分别同时执行不同数据在同一个神经网络模型上的计算。然而，多核处理器结构并不能使用这种并行方法来处理推理场景下的小批量且要求低时延的神经网络计算任务。那么，如何保证数据并行与神经网络模型并行相统一，以充分利用多核处理器的硬件资源是亟需解决的技术问题。

发明内容

本发明实施例提供一种神经网络模型处理方法、装置、计算机设备及存储介质，通过将神经网络计算任务拆分成若干个规模更小的子计算任务，这样多核处理器可以直接调用单核架构下的计算库，充分利用了多核处理器的硬件资源，从而可以避免重现实现的额外工作量。

为实现上述目的，第一方面，本申请实施例提供了一种神经网络模型处理方法，该方法应用于多核人工智能处理器，方法包括：

根据所述神经网络模型对应的计算图中目标算子，确定与所述目标算子关联的张量数据的拆分状态集合；

遍历所述拆分状态集合，确定相邻拆分状态集合之间所述目标算子的张量数据的拆分路径；

根据所述拆分路径的权重，确定所述目标算子的张量数据的目标拆分路径；

根据所述目标拆分路径对所述目标算子进行拆分，以分配到所述多核人工智能处理器的对应核进行处理。

第二方面，本申请实施例提供了一种神经网络模型处理装置，该装置包括用于执行上述第一方面的方法的单元。具体地，该装置应用于多核人工智能处理器。上述装置包括：

确定单元，用于根据所述神经网络模型对应的计算图中目标算子，确定与所述目标算子关联的张量数据的拆分状态集合；

拆分路径确定单元，用于遍历所述拆分状态集合，确定相邻拆分状态集合之间所述目标算子的张量数据的拆分路径；

目标拆分路径确定单元，用于根据所述拆分路径的权重，确定所述目标算子的张量数据的目标拆分路径；

处理单元，用于根据所述目标拆分路径对所述目标算子进行拆分，以分配到所述多核人工智能处理器的对应核进行处理。

第三方面，本申请实施例提供了一种计算机设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述处理器包括通用处理器和人工智能处理器，所述存储器用于存储支持计算机设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

第五方面，本申请实施例提供了一种计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。