[发明专利]一种运算方法及装置

权利要求书

1.一种运算方法，包括以下步骤：

当输入数据包括待处理数据、网络结构和权值数据时，执行如下步骤：

输入并读取输入数据；

根据所述网络结构和权值数据构建离线模型；

解析所述离线模型，得到神经网络处理单元能够识别的运算指令并缓存，用于后续计算调用；

所述神经网络处理单元根据所述运算指令，对所述待处理数据进行运算得到运算结果以供输出；

当输入数据包括待处理数据和离线模型时，执行如下步骤：

输入并读取输入数据；

解析所述离线模型，得到所述神经网络处理单元能够识别的运算指令并缓存，用于后续计算调用；

所述神经网络处理单元根据所述运算指令，对所述待处理数据进行运算得到运算结果以供输出；

当输入数据仅包括待处理数据时，执行如下步骤：

输入并读取输入数据；

调用缓存的所述神经网络处理单元能够识别的运算指令，对所述待处理数据进行运算得到运算结果以供输出。

2.如权利要求1所述的运算方法，其中，所述神经网络处理单元具有指令缓存单元，用于缓存所述运算指令，用于后续计算调用。

3.如权利要求1～2中任一项所述的运算方法，其中，所述离线模型为神经网络模型；所述神经网络模型包括Cambricon_model、AlexNet_model、GoogleNet_model、VGG_model、R-CNN_model、GAN_model、LSTM_model、RNN_model、ResNet_model。

4.如权利要求1所述的运算方法，其中，所述待处理数据为能用神经网络进行处理的输入。

5.如权利要求4所述的运算方法，其中，所述待处理数据包括连续的单张图片、语音或视频流。

6.如权利要求1所述的运算方法，其中，所述网络结构为神经网络结构；所述神经网络结构包括AlexNet、GoogleNet、ResNet、VGG、R-CNN、GAN、LSTM、RNN。

7.一种运算装置，包括：

输入模块，用于输入数据，所述数据包括待处理数据、网络结构和权值数据和/或离线模型数据；

模型生成模块，用于根据输入的网络结构和权值数据构建离线模型；

神经网络运算模块，包括：

模型解析单元，用于基于离线模型生成神经网络处理单元能够识别的运算指令；以及

神经网络处理单元，用于缓存所述运算指令用于后续计算调用，以及基于运算指令对待处理数据进行运算得到运算结果；

输出模块，用于输出所述运算结果；

控制模块，用于检测输入数据类型并执行如下操作：

当输入数据包括待处理数据、网络结构和权值数据时，控制输入模块将网络结构和权值数据输入模型生成模块以构建离线模型，并控制神经网络运算模块基于模型生成模块构建的离线模型，对输入模块输入的待处理数据进行运算；

当输入数据包括待处理数据和离线模型时，控制输入模块将待处理数据和离线模型输入神经网络运算模块，并控制神经网络运算模块基于离线模型生成运算指令并缓存，并基于所述运算指令对所述待处理数据进行运算；

当输入数据仅包括待处理数据时，控制输入模块将待处理数据输入神经网络运算模块，并控制神经网络运算模块调用缓存的运算指令，对所述待处理数据进行运算。

8.如权利要求7所述的运算装置，其中，所述神经网络处理单元具有指令缓存单元，用于缓存所述运算指令用于后续计算调用。

9.根据权利要求7所述的运算装置，其中，所述离线模型为神经网络模型；所述神经网络模型包括Cambricon_model、AlexNet_model、GoogleNet_model、VGG_model、R-CNN_model、GAN_model、LSTM_model、RNN_model、ResNet_model。