[发明专利]一种基于多块FPGA协同处理的神经网络加速方法

权利要求书

1.一种基于多块FPGA协同处理的神经网络加速方法，其特征是建立神经网络加速板卡，加速板卡上设置SOC芯片和FPGA，SOC芯片上包含ZYNQ芯片，ZYNQ芯片与每个FPGA互联，

ZYNQ芯片根据神经网络的网络模型的复杂度、延迟要求和吞吐量的需求，将网络模型的参数按照层次分解，并根据参数分解的层次划分FPGA的流水级数，按照参数分解的层次下发参数到相应流水级数的FPGA，根据神经网络模型控制每一流水级数启动的FPGA，直至流水级数为最后一级的FPGA处理数据完成，具体步骤为：

ZYNQ芯片根据神经网络的网络模型的复杂度、延迟要求和吞吐量的需求，判断实现网络模型以及实现神经网络是吞吐量优先还是延迟优先，

ZYNQ芯片根据优先级将网络模型的参数按照层次分解，并根据参数分解的层次划分FPGA的流水级数，按照参数分解的层次下发参数到相应流水级数的FPGA，

ZYNQ芯片将待处理的数据发送到流水级数为第一级的FPGA中，第一级的FPGA进行神经网络某一层或几层的计算处理，处理之后将第一级FPGA处理结果发送到第二级FPGA，第二级FPGA进行神经网络某一层或几层的计算处理，直至流水级数为最后一级的FPGA处理数据完成。

2.根据权利要求1所述的方法，其特征是ZYNQ芯片根据参数分解的层次划分FPGA的流水级数，并且每一流水级数不止一个FPGA。

3.根据权利要求1或2所述的方法，其特征是每一流水级数的每个FPGA只实现整个神经网络的部分层的计算处理。

4.根据权利要求1所述的方法，其特征是网络模型的参数分解的层次小于设定值时，每一块FPGA只进行神经网络一层的计算处理，使吞吐量最大化。

5.一种基于多块FPGA协同处理的神经网络加速器，其特征是包括神经网络加速板卡，加速板卡上设置SOC芯片和FPGA，SOC芯片上包含ZYNQ芯片，ZYNQ芯片与每个FPGA互联，

ZYNQ芯片根据神经网络的网络模型的复杂度、延迟要求和吞吐量的需求，将网络模型的参数按照层次分解，并根据参数分解的层次划分FPGA的流水级数，按照参数分解的层次下发参数到相应流水级数的FPGA，根据神经网络模型控制每一流水级数启动的FPGA，直至流水级数为最后一级的FPGA处理数据完成，其中ZYNQ芯片根据神经网络的网络模型的复杂度、延迟要求和吞吐量的需求，判断实现网络模型以及实现神经网络是吞吐量优先还是延迟优先，

ZYNQ芯片根据优先级将网络模型的参数按照层次分解，并根据参数分解的层次划分FPGA的流水级数，按照参数分解的层次下发参数到相应流水级数的FPGA，

ZYNQ芯片将待处理的数据发送到流水级数为第一级的FPGA中，第一级的FPGA进行神经网络某一层或几层的计算处理，处理之后将第一级FPGA处理结果发送到第二级FPGA，第二级FPGA进行神经网络某一层或几层的计算处理，直至流水级数为最后一级的FPGA处理数据完成。

6.根据权利要求5所述的加速器，其特征是神经网络加速板卡上的ZYNQ芯片根据参数分解的层次划分FPGA的流水级数，并且每一流水级数不止一个FPGA。

7.根据权利要求5或6所述的加速器，其特征是通过高速网口进行神经网络加速板卡间板级互联，所述的加速器能处理更大规模的神经网络。