[发明专利]一种神经网络加速器编译方法及装置

说明书

本发明提供一种神经网络加速器编译方法及装置，该方法包括：基于神经网络结构信息和预设指令类型，生成每种预设指令类型之间的依赖关系和多种神经网络编译器指令队列，其中，所述神经网络编译器指令队列是由相同预设指令类型的神经网络编译器指令组成的队列；根据所述依赖关系，确定每种神经网络编译器指令队列之间的并行运行策略；根据所述并行运行策略，生成神经网络加速器的加速指令。本发明通过融合循环缓冲区和超标量等柔性动态调整技术于神经网络专用加速器中，能够有效解决神经网络参数加载和模块利用率等问题，使得神经网络能够更快速的部署于边缘端。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种神经网络加速器编译方法及装置。

背景技术

目前人工智能(Artificial Intelligence，简称AI)领域技术突飞猛进，适用于识别、检测和跟踪等复杂任务的深度神经网络应用于各行各业之中，为了在边缘端部署AI算法，实现端云协同，嵌入式神经网络处理器技术快速发展。

神经网络的推理在计算和空间上的代价都很高，为了支持低功耗低算力的边缘硬件，量化学习和稀疏剪枝等压缩技术被大量提出，卷积等算子也在边缘端实现了并行运算。其中，量化学习将原网络中的浮点型权重float32替代为整型int8，以损失较小精度为代价，不仅减少了网络参数大小，还加速了卷积的计算速度；稀疏剪枝将网络中不重要的参数和层等冗余结构删减，节约参数储存空间，大幅节省推理时间。

然而，量化学习、稀疏剪枝等技术都是在训练推理阶段缩减神经网络网络的大小，并没有结合边缘端的神经网络专用加速器进行优化。神经网络算法在边缘端的计算仍然存在效率低下，通用性差，不同层之间的数据传递仍然需要消耗大量的冗余资源，各模块的利用率仍然有较大的提升空间；同时，加速器所运行的指令集从云端下沉至边缘端需要复杂的调整，仅通过卷积硬件加速远难达到实时性的要求。因此，现在亟需一种神经网络加速器编译方法及装置来解决上述问题。

发明内容

针对现有技术存在的问题，本发明提供一种神经网络加速器编译方法及装置。

本发明提供一种神经网络加速器编译方法，包括：

基于神经网络结构信息和预设指令类型，生成每种预设指令类型之间的依赖关系和多种神经网络编译器指令队列，其中，所述神经网络编译器指令队列是由相同预设指令类型的神经网络编译器指令组成的队列；

根据所述依赖关系，确定每种神经网络编译器指令队列之间的并行运行策略；

根据所述并行运行策略，生成神经网络加速器的加速指令。

根据本发明提供的一种神经网络加速器编译方法，所述基于神经网络结构信息和预设指令类型，生成每种预设指令类型之间的依赖关系和多种神经网络编译器指令队列，包括：

根据预设指令类型，构建对应的神经网络编译器指令，所述神经网络编译器指令包括特征图加载指令、权重加载指令、卷积计算指令和结果回存指令；

根据神经网络结构信息，判断每种神经网络编译器指令之间是否存在并行运行，并根据并行运行判断结果，构建每种预设指令类型之间的依赖关系，所述神经网络结构信息至少包括前序层、后序层、输入输出通道数、卷积核大小和输入输出数据宽度和输入输出数据高度；

基于先进先出法和所述依赖关系，根据相同预设指令类型的神经网络编译器指令，生成对应的神经网络编译器指令队列。

根据本发明提供的一种神经网络加速器编译方法，所述根据所述依赖关系，确定每种神经网络编译器指令队列之间的并行运行策略，包括：

根据所述并行运行判断结果，通过标志位对无法进行并行运行的神经网络编译器指令进行标记，得到预设指令类型之间的依赖关系；

基于超标量技术，根据所述依赖关系，生成每种神经网络编译器指令队列之间的并行运行策略。