[发明专利]浮点可分离卷积计算加速装置、系统以及图像处理方法

说明书

本发明公开了浮点可分离卷积计算加速装置、系统以及图像处理方法，其原理是：按照浮点深度分离卷积计算输入的通用要求，调度输入特征图浮点数据以及输入参数浮点数据，为下一步深度分离卷积乘法计算矩阵的输入做准备；利用深度分离卷积乘法矩阵完成深度分离卷积输入特征图浮点数据以及输入参数浮点数据对应项的乘法计算，并输出乘法计算结果，结果数值为浮点数据；乘法计算结果输入至深度分离前向累加树矩阵单元，完成输出特征图浮点数据对应项的累加计算，最后计算完成输出特征图浮点数据。本发明具有在浮点深度分离卷积乘累加计算达到线速计算吞吐能力的效果。

技术领域

本发明涉及人工神经网络技术领域，具体涉及一种浮点可分离卷积计算加速装置、系统以及图像分类方法。

背景技术

卷积神经网络技术在图像分类及目标识别应用比较广泛，通用的图像分类模型逐渐往轻量级卷积神经网络技术发展。相比常规的卷积神经网络，轻量级卷积神经网络，诸如MobileNet，采用了可分离卷积来设计其神经网络结构，其参数数量和运算成本比较低。可分离卷积一般由深度分离卷积(Depthwise Separable Convolution)与点卷积(PointwiseConvolution)组成。

在基于FPGA(Field Programmable Gate Array)的卷积神经网络硬件加速计算中，卷积是一种常规的计算操作。受限于加速性能以及FPGA片上资源的约束，大部分基于FPGA的卷积计算都是基于定点操作数的卷积计算进行设计，采用FPGA定点DSP(DigitalSignal Processing)硬核进行定点卷积乘累加操作，在定点卷积乘累加计算中，能够达到线速计算吞吐的能力。现有的基于FPGA定点DSP硬核的卷积乘累加计算存在一个闭环乘累加操作，该操作在定点精度操作模式下延迟低，为一个时钟周期，能够线速吞吐；在浮点精度操作模式下，延迟为多个时钟周期，由于闭环乘累加的计算模式，不能够达到线速计算吞吐要求，极大损耗了FPGA加速浮点卷积神经网络的计算吞吐能力。

因此，在要求更高精度的浮点深度分离卷积神经网络加速计算模式下，需要重新设计一种能够线速计算吞吐的浮点深度分离卷积乘累加计算方法。

发明内容

有鉴于此，本发明提供了浮点可分离卷积计算加速装置、系统以及图像分类方法，能够改进基于FPGA的浮点可分离卷积计算过程，是的其中深度分离卷积计算达到线速计算吞吐。

为达到上述目的，本发明的技术方案为：一种卷积神经网络的卷积乘累加硬件加速装置，包括卷积乘法单元、卷积加法树单元以及卷积前向加法链单元。

卷积乘法单元包括PE×SIMD个浮点乘法器；每个浮点乘法器的输入包括输入特征图数据和输入参数数据，每个浮点乘法器的时延为一个时钟周期以上；其中PE为输入特征图数据的个数，SIMD为输入参数数据的个数，PE和SIMD均为2的幂次方；卷积乘法单元输出PE×SIMD个乘法结果，作为卷积加法树单元单元的输入数据。

卷积加法树单元包括PE个浮点加法树，卷积加法树单元的输入数据为PE×SIMD个乘法结果，并将PE×SIMD个乘法结果，对应每个输入特征图数据的SIMD个乘法结果作为一组，分为PE组分别送入一个浮点加法树。

浮点加法树采用SIMD-1个浮点加法器组成，针对每一组中的SIMD个乘法结果进行加法运算，浮点加法器时延为一个时钟周期以上；卷积加法树单元输出PE个加法树结果，作为卷积前向加法链单元的输入。

卷积前向加法链单元包括PE个加法链，一个加法链的输入数据为对应的一个加法树结果，加法链一个以上时钟周期的输入数据进行累加，加法链的长度根据需要累加的时钟周期数确定；卷积前向加法链单元的输出为输出特征图数据，由所有加法链输出的PE个浮点数据组成，输出特征图数据为卷积乘累加结果。