[发明专利]一种CNN全连接层运算的多并行加速方法

说明书

本发明公开了一种CNN全连接层运算的多并行加速方法，利用卷积神经网络运算结果的稀疏性特点，通过提前判读卷积神经网络卷积层处理结果的数值，大大减少了对全连接层参数的读操作，有效节省能耗，提升系统能效比；利用FPGA等可编程逻辑器件硬件资源复用、扩展能力强等特点，通过构建并行流水乘累加架构，有效节省处理时间，提升处理效率；通过全面分析目标类型数据、目标特征差异以及应用过程中的错误容忍度等因素，合理设定处理数据格式，在保证处理精度的同时，有效提升数据及参数的存取效率，实现全连接层多并行加速的目的。

技术领域

本发明属于计算机体系结构技术领域，具体涉及一种CNN全连接层运算的多并行加速方法。

背景技术

卷积神经网络(CNN)作为深度学习的重要代表，在目标分类、识别、视频分析以及自然语言处理等方面应用越来越广泛。CNN主要由卷积层、池化层、激活函数以及全连接层组成。CNN全连接层运算由于参数数据量大，精度要求高，对外部存储速度要求高等特点，一直是制约CNN加速的瓶颈。如当前典型的分类网络VGG-16全连接层参数个数就达138M。

目前CNN全连接层运算的方法主要优化方式是参数压缩、并行运算等。其中，并行运算主要以下三种方式，第一种是采用GPU多线程计算实现加速；第二种是采用FPGA等可编程逻辑电路用硬件资源扩展换取速度的方式实现加速；第三种采用深度学习专用处理器或ASIC实现加速。

西安交通大学CN201710331078.5公开了一种参数化可扩展的神经网络全连接层互联结构，包括若干层全连接层，每层全连接层例化了若干个基本单元；一个基本单元连接一个路由器，同一全连接层中的基本单元经过路由器相连，形成全连接环；全连接环的路由器上下相连形成一种参数化可扩展的神经网络全连接层多层互连结构，支持双向的数据传递(前向推理，反向学习)。采用可配置的全连接基本单元作为全连接层硬件实现的基础，用户可以根据实际使用的神经网络的需求通过设置参数控制生成多个基本单元并互连的方式完成其网络中全连接层的设计实现和并行加速；该发明的设计考虑了数据流水线，缩短了系统运行时钟周期，灵活配置全连接层的结构和规模，便于系统的快速部署实现。

美国阿尔特拉公司CN201610878617.2公开了一种用于实施卷积神经网络加速器上的层的方法和装置制造方法。该装置和方法用于在目标上实施卷积神经网络(CNN)加速器，包括利用一个或者多个处理元件实施标准卷积层。修改CNN加速器的配置以改变CNN加速器上的部件之间的数据流。响应数据流的改变，利用一个或者多个处理元件实施完全连接层。

清华大学CN201710524017.0公开了一种基于可分割阵列的可重构加速器及其实现方法，该可重构加速器包括便笺式存储器缓存区，用于实现卷积计算与稀疏化全连接计算的数据重用；可分割计算阵列，包括多个重构计算单元。可分割计算阵列分为卷积计算阵列及稀疏化全连接计算阵列；寄存器缓存区，由多块寄存器构成的存储区域，为卷积计算与稀疏化全连接计算提供输入数据、权重数据及对应的输出结果；卷积计算的输入数据及权重数据分别输入到卷积计算的阵列，输出卷积计算结果；稀疏化全连接计算的输入数据及权重数据分别输入到稀疏化全连接计算阵列，输出稀疏化全连接计算结果。本发明将两种神经网络的特点相融合，提高了芯片的计算资源与内存带宽利用率。

但上述方法主要存在以下问题：

(1)没有对目标类型数目、目标特征差异度以及对错误容忍度等因素进行全面分析，合理选取数据格式，导致处理精度与参数占用存储空间、参数数据吞吐量等因素不能达到良好平衡。

(2)对全连接层参数进行模型压缩，可有效降低参数数量，但也存在降低正确率的风险。没有利用卷积神经网络卷积处理结果稀疏性特点，全连接运算过程中产生大量无效读操作，浪费能耗和消耗处理时间。

(3)采用专用处理器或ASIC或FPGA实现全连接层，只是简单的通过硬件资源的增加、迭代实现逻辑加速，没有充分发挥可编程逻辑电路的全流水性能，硬件资源占有较多，能效比大打折扣；