[发明专利]专用神经网络加速器的标准与非标准卷积一致性变换方法

说明书

本发明公开了专用神经网络加速器的标准与非标准卷积一致性变换方法，涉及神经网络技术领域。本发明包括专用网络加速器启动计算前步骤和硬件处理流程；专用网络加速器启动计算前步骤具体为：系统主控制器将被加速网络层的输入特征图、卷积核系数及偏置系数等数据从外部的大容量存储器搬移到片上系统的高速存储器；硬件处理流程包括：S01、判断是否需要对输入数据进行常量填充、行列置换等数据预处理；S02、将预处理后或无需处理的数据搬移数据到片上存储器；S03、主控制器配置专用神经网络加速器后启动计算。本发明可以有效控制算法兼容性设置，提高了专用神经网络对卷积类算法的扩展性，有效提高硬件复用率，降低功耗。

技术领域

本发明属于神经网络技术领域，特别是涉及专用神经网络加速器的标准与非标准卷积一致性变换方法。

背景技术

标准卷积层(normal convolution)与全连接层(fully-connected)是深度神经网络中最常见的网络层类型，如卷积神经网络(CNN)，所以，标准卷积层是很多专用神经网络加速器设计的重要参考算法，对标准卷积层运算的加速效率是衡量一个专用神经网络加速器性能的主要参考指标。但随着一些新型深度神经网络的提出，如MobileNet，Xception，一些具有特殊应用的非标准卷积算法被提出，如深度卷积(depthwise convolution)、反卷积(或称转置卷积，deconvolution或transposed convolution)及膨胀卷积(或称空洞卷积，dilated convolution)，这对已完成设计或已产品化的专用神经网络加速器兼容新型算法的扩展能力提出了较高要求，可能会导致对旧版加速器结构进行调整，甚至重新设计。

一些专用神经网络加速器在设计时，对标准卷积与非标准卷积采用直接映射的方式，分别为不同卷积算法设计专用处理电路实现，或者将相似卷积算法合并，复用相同硬件实现，如全连接运算复用标准卷积硬件运算，而其他类型卷积采用直接映射，或者专用加速器只运行特定类型卷积，而其他类型或新出现的卷积类算法使用通用处理器实现(包括CPU,GPU,DSP)；另一方面，对于新出现的非标准卷积算法的支持，已完成设计或已产品化的专用神经网络加速器需要修改原有硬件结构支持新算法，或使用通用处理器实现，而无法使用专用加速器对其进行加速。

本发明要解决的技术问题是提出了一种适用于专用神经网络加速器的标准卷积与非标准卷积的一致性变换方法，解决专用神经网络加速器对卷积类算法的兼容性问题。

发明内容

本发明提供了专用神经网络加速器的标准与非标准卷积一致性变换方法，解决了以上问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明的专用神经网络加速器的标准与非标准卷积一致性变换方法，所述专用神经网络加速器采用矩阵乘加矩阵，所述用神经网络加速器的一个处理单元(PE)内部包含乘法器、加法器等运算器件，完成一个特征点与权重系数的乘加运算，对处理单元进行分组，便于支持多个卷积核运算；其特征在于，变换方法包括专用网络加速器启动计算前步骤和硬件处理流程：

所述专用网络加速器启动计算前步骤具体为：系统主控制器将被加速网络层的输入特征图、卷积核系数及偏置系数等数据从外部的大容量存储器搬移到片上系统的高速存储器；

所述硬件处理流程包括：

S01、系统主控制器根据当前被加速卷积网络层类型，判断是否需要对输入数据进行常量填充、行列置换等数据预处理；

S02、将预处理后或无需处理的数据搬移数据到片上存储器；

S03、主控制器配置专用神经网络加速器后启动计算。

进一步地，所述系统主控制器包括MCU、CPU、DSP。

进一步地，所述大容量存储器采用包括动态随机存取存储器DRAM、高带宽存储器HBM。