[发明专利]一种基于OPU的CNN加速方法及系统

说明书

本发明公开了一种基于OPU的CNN加速方法及系统，涉及基于FPGA的CNN加速方法领域；方法包括定义OPU指令集；编译器将不同目标网络的CNN定义文件进行转换，并根据定义的OPU指令集选择最优加速器配置映射，生成不同目标网络的指令完成映射；OPU读取上述编译后的指令，按照OPU指令集定义的并行计算模式运行指令，完成不同目标网络的加速；本发明通过定义指令类型和设置指令颗粒度、进行网络重组优化、搜索解空间获得保证最大吞吐量的映射方式、硬件采取并行计算模式，解决现有的FPGA加速工作旨在为不同的CNN生成特定的单独加速器的问题，达到了不重构FPGA加速器，通过指令快速实现不同网络配置的加速的效果。

技术领域

本发明涉及基于FPGA的CNN加速方法领域，尤其是一种基于OPU的CNN加速方法及系统。

背景技术

深度卷积神经网络(CNNs)在各种应用中表现出很高的准确性，如视觉对象识别，语音识别和物体检测等。然而，它在准确性上的突破在于高计算成本的代价，需要通过计算集群，GPU和FPGA来推动加速。其中，FPGA加速器具有能量效率高，灵活性好，计算能力强等优点，特别是在智能手机上的语音识别和视觉对象识别等边缘设备上的CNN深度应用中脱颖而出；其通常涉及架构探索和优化，RTL编程，硬件实现和软件-硬件接口开发，随着发展人们对FPGA CNN(卷积神经网络)加速的自动编译器进行了深入的研究，其可配置平台提供丰富的并行计算资源和高能效，使其成为边缘计算和数据中心CNN加速的理想选择。但随着DNN(深度神经网络)算法在各种更复杂的计算机视觉任务中的发展，如人脸识别，车牌识别，姿态识别等，多种DNN的级联结构被广泛应用以获得更好的性能，这些新的应用场景要求不同网络的顺序执行，因此需要不断重新配置FPGA器件，带来耗时长的问题；另一方面，客户网络架构中的每次新的更新都可以导致RTL代码的再生和整个实现过程，耗时更长。

近年来，能够快速将CNN部署到FPGA的自动加速器发生器成为另一个焦点，现有技术中有研究者开发了Deep weaver，它根据设计规划者提供的资源分配和硬件组织将CNN算法映射到手工优化设计模板；还有人提出了一个基于RTL模块库的编译器，它由多个优化的手工编码Verilog模板组成，描述了不同类型层的计算和数据流；与定制设计的加速器相比，这两项工作都获得了可比的性能；还有研究者提供了一个基于HLS的编译器，主要关注通过内存访问重组进行的带宽优化；还有研究者提出了一种收缩阵列架构，以实现更高的FPGA运行频率。但是现有的FPGA加速工作旨在为不同的CNN生成特定的单独加速器，这保证了基于RTL或基于HLS-RTL的模板的合理高性能，但在调整目标网络的情况下硬件升级复杂度高。因此，需要一种CNN部署到FPGA的通用方法，实现不需要对单独网络产生特定硬件描述代码，不涉及对FPGA进行重新烧录，全部部署流程依靠指令配置完成。

发明内容

本发明的目的在于：本发明提供了一种基于OPU的CNN加速方法及系统，解决现有的FPGA加速工作旨在为不同的CNN生成特定的单独加速器，目标网络改变时硬件升级复杂度高、通用性差的问题。

本发明采用的技术方案如下：

一种基于OPU的CNN加速方法，包括如下步骤：

定义OPU指令集；

编译器将不同目标网络的CNN定义文件进行转换，并根据定义的OPU指令集选择最优加速器配置映射，生成不同目标网络的指令完成映射；

OPU根据读取上述编译后的指令，按照OPU指令集定义的并行计算模式运行指令，完成不同目标网络的加速；

其中，所述OPU指令集包括直接执行并为有条件指令提供配置参数的无条件指令和满足触发条件后执行的有条件指令，定义的OPU指令集根据CNN网络调研结果和加速需求对指令颗粒度进行优化设置；

所述转换包括文件转换、网络的图层重组和生成统一中间表示IR；