[发明专利]运算方法、装置及相关产品

说明书

本公开涉及一种运算方法、装置及相关产品，所述产品包括控制模块，所述控制模块包括：指令缓存单元、指令处理单元和存储队列单元；所述指令缓存单元，用于存储所述人工神经网络运算关联的计算指令；所述指令处理单元，用于对所述计算指令解析得到多个运算指令；所述存储队列单元，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。通过以上方法，本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。

技术领域

本公开涉及深度学习技术领域，尤其涉及一种运算方法、装置及相关产品。

背景技术

在深度学习技术领域，通常是在指令级别使用硬件指令和对应的硬件机制来实现多任务的并发同步。但是，使用硬件指令和对应的硬件机制实现多任务的并发同步的方式并不适用于所有的处理器，这就使得使用硬件指令和对应的硬件机制来进行并发同步的方法具有一定的限制性，通用性较低。

发明内容

有鉴于此，本公开提出了一种运算方法、装置及相关产品。

根据本公开的一方面，提供了一种运算方法，应用于处理器，所述处理器包括多个处理单元，所述方法包括：确定神经网络模型各待执行任务之间的依赖关系，所述各待执行任务为所述神经网络模型进行任务拆分得到的，所述各待执行任务被下发至不同的处理单元运行；根据所述依赖关系，在所述神经网络模型中添加同步算子，以使修改后的神经网络模型各待执行任务按照所述依赖关系执行。

在一种可能的实现方式中，所述根据所述依赖关系，在所述神经网络模型中添加同步算子，包括：根据所述依赖关系，在运行在不同的处理单元上的当前任务的网络层和前继任务的网络层之间添加所述同步算子，所述当前任务为所述前继任务执行完毕后执行的任务。

在一种可能的实现方式中，所述依赖关系通过各所述待执行任务所需数据的存储地址区间是否具有重叠的区域确定。

在一种可能的实现方式中，所述同步算子包括第一算子和第二算子；所述第一算子，用于表征所述前继任务的运行状态；所述第二算子，用于根据所述第一算子确定是否运行所述当前任务。

在一种可能的实现方式中，所述第二算子，用于在预设时间间隔读取第一算子，并根据读取到的所述第一算子确定是否运行所述当前任务。

在一种可能的实现方式中，所述运行状态包括运行未完成或运行完成。

在一种可能的实现方式中，所述同步算子存储于所述处理器的共享内存中。

在一种可能的实现方式中，所述方法还包括：根据添加所述同步算子后的神经网络模型生成调度表，所述调度表包括各所述处理单元所要执行的待执行任务，以及各所述待执行任务的依赖关系。

在一种可能的实现方式中，所述调度表为多个，各所述调度表分别与所述处理器的各个处理单元相对应。

根据本公开的另一方面，提供了一种运算装置，其特征在于，包括：依赖关系确定模块，用于确定神经网络模型各待执行任务之间的依赖关系，所述各待执行任务为所述神经网络模型进行任务拆分得到的，所述各待执行任务被下发至不同的处理单元运行；同步算子添加模块，用于根据所述依赖关系，在所述神经网络模型中添加同步算子，以使修改后的神经网络模型各待执行任务按照所述依赖关系执行。

在一种可能的实现方式中，所述同步算子添加模块包括：第一添加子模块，用于根据所述依赖关系，在运行在不同的处理单元上的当前任务的网络层和前继任务的网络层之间添加所述同步算子，所述当前任务为所述前继任务执行完毕后执行的任务。

在一种可能的实现方式中，所述依赖关系通过各所述待执行任务所需数据的存储地址区间是否具有重叠的区域确定。