[发明专利]神经网络加速方法、装置、神经网络加速芯片及存储介质

说明书

本发明公开了一种神经网络加速方法、装置、神经网络加速芯片及存储介质，该方法包括：针对待加速的神经网络，进行下述步骤，直至确定所述神经网络加速完成：采用待加速的当前层的参数对所述当前层进行加速处理，并调度所述当前层的下一层的参数；当所述当前层加速处理完成时，将所述下一层确定为待加速的当前层进行加速处理。本发明中神经网络加速芯片在对神经网络当前层进行加速处理时，能够并行调度当前层的下一层的参数，缩短了神经网络的整体加速时间，提高了神经网络的加速效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种神经网络加速方法、装置、神经网络加速芯片及存储介质。

背景技术

随着以深度学习为代表的神经网络算法的精度的提升，人工智能总体市场规模也正在逐步扩大，庞大的市场潜力吸引了众多的芯片、算法和应用厂商投身其中。由于人工智能在模型训练与推理中需要大量的计算，过往一直受限于其算法和计算本身的特性，传统的计算芯片无法满足需求，因此就出现了芯片厂商为神经网络算法打造专用的芯片即神经网络加速器。

神经网络加速器在工作时需要在外部处理器中逐层获取网络模型的参数，相当于外部处理器通过总线逐层向神经网络加速器配置网络模型的参数，神经网络加速器每处理完一层数据，向外部处理器获取一次下一层网络模型的参数，导致在一层数据处理完成后，下一层参数数据获取到之前的这段时间段，即参数调度时间段内，神经网络加速器不会进行层数据的处理，导致整个神经网络加速时间长效率低。

发明内容

本发明提供了一种神经网络加速方法、装置、神经网络加速芯片及存储介质，用以解决现有技术中神经网络加速时间长效率低的问题。

本发明提供了一种神经网络加速方法，应用于神经网络加速芯片，该方法包括：

针对待加速的神经网络，进行下述步骤，直至确定所述神经网络加速完成：

采用待加速的当前层的参数对所述当前层进行加速处理，并调度所述当前层的下一层的参数；

当所述当前层加速处理完成时，将所述下一层确定为待加速的当前层进行加速处理。

进一步地，如果所述待加速的当前层为最后一层，所述调度所述当前层的下一层的参数包括：

调度第一层的参数。

进一步地，所述调度所述当前层的下一层的参数包括：

调度片上存储器中保存的所述当前层的下一层的参数。

进一步地，所述调度片上存储器中保存的所述当前层的下一层的参数包括：

通过REG文件，调度片上存储器中保存的所述当前层的下一层的参数。

进一步地，所述采用待加速的当前层的参数对所述当前层进行加速处理，并调度所述当前层的下一层的参数之前，所述方法还包括：

从待加速的神经网络中提取加速处理所需的每层的参数，并保存到所述片上存储器中。

进一步地，所述片上存储器包括ROM。

本发明提供了一种神经网络加速装置，应用于神经网络加速芯片，该装置包括：

加速调度模块，用于针对待加速的神经网络，进行下述步骤，直至确定所述神经网络加速完成：采用待加速的当前层的参数对所述当前层进行加速处理，并调度所述当前层的下一层的参数；

确定模块，用于当所述当前层加速处理完成时，将所述下一层确定为待加速的当前层进行加速处理。

进一步地，所述加速调度模块，具体用于如果所述待加速的当前层为最后一层，调度第一层的参数。

进一步地，所述加速调度模块，具体用于调度片上存储器中保存的所述当前层的下一层的参数。