[发明专利]硬件算子匹配方法及相关产品

权利要求书

1.一种硬件算子匹配方法，其特征在于，应用于电子设备，所述电子设备包括神经网络处理器NPU、控制器和模拟器，所述方法包括：

在所述NPU运行神经网络模型至第i层时，所述控制器确定所述第i层对应的多个参考硬件算子，所述第i层为所述神经网络模型中的任意一层；

所述模拟器模拟运行所述多个参考硬件算子，得到所述多个参考硬件算子对应的多个运行周期循环数，每一参考硬件算子对应一个运行周期循环数；

所述控制器确定所述多个运行周期循环数中最小值对应的目标硬件算子；以及，根据所述目标硬件算子执行所述第i层的运算；

其中，所述控制器确定所述第i层对应的多个参考硬件算子，包括：

所述控制器解析所述第i层，得到所述第i层的目标网络参数；

从预设的数据表中查询与所述目标网络参数对应的多个参考硬件算子；

其中，所述模拟器模拟运行所述多个参考硬件算子，得到所述多个参考硬件算子对应的多个运行周期循环数，包括：

所述模拟器构造一组输入数据；

翻译所述多个参考硬件算子中每一参考硬件算子的指令流，得到多个指令流，所述多个指令流中每一指令流包含多个指令；

根据所述输入数据分别模拟执行所述多个指令流中每一指令流，得到所述多个指令流对应的多个运行周期循环数。

2.根据权利要求1所述的方法，其特征在于，所述第i层包括卷积算子，所述目标网络参数包括以下至少一种：所述卷积算子的卷积核大小、卷积步长、输入尺寸、卷积核类型或内边距，所述从预设的数据表中查询与所述目标网络参数对应的多个参考硬件算子，包括：

根据所述卷积算子的卷积核大小、卷积步长、输入尺寸、卷积核类型或内边距查询所述数据表，得到与所述卷积核大小、卷积步长、输入尺寸、卷积核类型或内边距均一致的多个参考卷积硬件算子。

3.根据权利要求1所述的方法，其特征在于，所述根据所述输入数据分别模拟执行所述多个指令流中每一指令流，得到所述多个指令流对应的多个运行周期循环数，包括：

获取指令流j中的多个指令，所述指令流j为所述多个指令流中的任一指令流；

根据所述输入数据执行所述指令流j中的多个指令，并记录所述多个指令中每一指令对应的指令周期循环数，得到多个指令周期循环数；

在所述多个指令执行完成后，确定所述多个指令周期循环数之和，将所述多个指令周期循环数之和作为所述指令流j对应的运行周期循环数。

4.一种硬件算子匹配装置，其特征在于，应用于电子设备，所述电子设备包括神经网络处理器NPU、控制器和模拟器，所述硬件算子匹配装置包括：

确定单元，用于在所述NPU运行神经网络模型至第i层时，通过所述控制器确定所述第i层对应的多个参考硬件算子，所述第i层为所述神经网络模型中的任意一层；

模拟单元，用于通过所述模拟器模拟运行所述多个参考硬件算子，得到所述多个参考硬件算子对应的多个运行周期循环数，每一参考硬件算子对应一个运行周期循环数；

所述确定单元，还用于通过所述控制器确定所述多个运行周期循环数中最小值对应的目标硬件算子；

执行单元，用于通过所述控制器根据所述目标硬件算子执行所述第i层的运算；

其中，在所述控制器确定所述第i层对应的多个参考硬件算子方面，所述确定单元具体用于：

通过所述控制器解析所述第i层，得到所述第i层的目标网络参数；

从预设的数据表中查询与所述目标网络参数对应的多个参考硬件算子；

其中，在所述通过所述模拟器模拟运行所述多个参考硬件算子，得到所述多个参考硬件算子对应的多个运行周期循环数方面，包括：

通过所述模拟器构造一组输入数据；

翻译所述多个参考硬件算子中每一参考硬件算子的指令流，得到多个指令流，所述多个指令流中每一指令流包含多个指令；

根据所述输入数据分别模拟执行所述多个指令流中每一指令流，得到所述多个指令流对应的多个运行周期循环数。