[发明专利]一种基于芯粒的数据处理的方法、装置、介质及设备

说明书

本说明书公开了一种基于芯粒的数据处理的方法、装置、介质及设备。首先，获取芯粒阵列的阵列尺寸以及神经网络模型对应的有向无环图。其次，根据芯粒阵列的阵列尺寸，构建各类算子的划分策略集合以及芯粒分配策略集合。而后，根据神经网络模型中的各算子在有向无环图中的深度，确定各算子所要加入的调度搜索模块。然后，针对每个调度搜索模块，根据各类算子的划分策略集合以及芯粒分配策略集合，确定满足预设条件的各策略组合，并计算该调度搜索模块中对应的各策略组合所需的运算开销，确定目标策略组合。最后，根据各调度搜索模块对应的目标策略组合，执行神经网络模型的运算任务。本方法可以合理的分配芯粒资源，提高芯粒资源的资源利用率。

技术领域

本说明书涉及计算机技术领域，尤其涉及一种基于芯粒的数据处理的方法、装置、介质及设备。

背景技术

近年来，随着芯粒技术的发展，深度神经网络加速器正在从芯片升级至芯粒。芯粒将小芯片单元集成封装为满足特定功能的模块芯片，相比于原来的普通芯片具有更高的灵活度和性能以及更低的成本，对深度神经网络加速器这种专用领域架构的发展十分有利。

目前，对于芯粒这种集成度高的更复杂的结构，还没有可以充分利用芯粒资源，以加速深度神经网络在芯粒上的推理的方法，导致芯粒资源的资源利用率较低。

因此，如何合理的分配芯粒资源，提高芯粒资源的资源利用率，则是一个亟待解决的问题。

发明内容

本说明书提供一种基于芯粒的数据处理的方法、装置、介质及设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种基于芯粒的数据处理的方法，包括：

获取芯粒阵列的阵列尺寸以及神经网络模型对应的有向无环图，所述芯粒阵列是由各芯粒组成的，所述有向无环图用于表示所述神经网络模型中的各算子的运算顺序；

根据所述芯粒阵列的阵列尺寸，构建各类算子的划分策略集合以及芯粒分配策略集合，所述划分策略集合是将算子的运算任务划分为各维度的运算任务的划分策略的集合；

根据确定出的所述神经网络模型中的各算子在所述有向无环图中的深度，确定各算子所要加入的调度搜索模块；

针对每个调度搜索模块，根据所述各类算子的划分策略集合以及所述芯粒分配策略集合，确定该调度搜索模块对应的满足预设条件的各策略组合，并通过该调度搜索模块，计算该调度搜索模块中对应的各策略组合所需的运算开销，确定目标策略组合；

根据各调度搜索模块对应的目标策略组合，执行所述神经网络模型的运算任务。

可选地，确定所述神经网络模型中的各算子在所述有向无环图中的深度，具体包括：

通过广度优先搜索算法遍历所述神经网络模型对应的有向无环图，并在遍历过程中，对各算子对应的深度进行标记；

针对所述神经网络模型中的每个算子，当遍历到该算子时，若前序算子未被标记，则遍历下一个算子；

若前序算子被标记，则根据前序算子的深度，对该算子的深度进行标记。

可选地，根据确定出的所述神经网络模型中的各算子在所述有向无环图中的深度，确定各算子所要加入的调度搜索模块，具体包括：

针对每个深度，根据确定出的所述神经网络模型中的各算子在所述有向无环图中的深度，将该深度对应的各算子加入该深度对应的并行运算组；

将该深度对应的并行运算组中的各算子以及该深度的下一深度对应的并行运算组中的各算子加入该深度对应的调度搜索模块。