[发明专利]神经网络的加速方法及装置

说明书

本发明实施例提供一种神经网络的加速方法及装置，其中方法包括：对于神经网络中的任一层，根据层的量化模式，对输入至所述层的特征图进行分块，获得若干个块数据，对所述块数据中不同通道但同一位置的像素设置同一索引值；计算所述块数据的稀疏度，抛弃全为0的块数据，对剩余的块数据，根据所述剩余的块数据的稀疏度以及预设阈值确定相应的稀疏类型，根据所述稀疏类型对所述剩余的块数据进行稀疏编码。本发明实施保证了每个像素位置处索引数量不因量化模式的不同而出现成倍增加的情况，解决了多种稀疏度和多种量化位宽混杂的神经网络编码问题。

技术领域

本发明涉及加速器设计技术领域，更具体地，涉及神经网络的加速方法。

背景技术

由于目前的神经网络存在激活函数(ReLU)，可以造成大量特征数据(featuremap)稀疏，采用剪枝等方法训练神经网络又可以造成大量权重数据(weight data)稀疏。高效利用这些稀疏性可以大幅提高神经网络加速器的处理效率。同时，硬件处理神经网络时，定点化相比于浮点处理会带来很大的能量提升。使用定点处理神经网络已经成为高能效加速器的通用做法。目前已经许多文献着眼于神经网络的稀疏性和定点化量化的利用。对于稀疏性，这些文献大致可以分为两类，一类着眼于跳过0值，减少输入为0的无效计算。此类方法假定神经网络非常稀疏，直接按稀疏的方式存储神经网络。另一类采取忽略零值的方法，比如当输入数据为0时，不执行乘法操作，从而可减少运算功耗。此类加速器假定神经网络比较稠密，直接以稠密模式存储神经网络。

但是，这些技术都着眼于处理稀疏神经网络本身，假定神经网络稀疏是完全稀疏的或者完全不稀疏的，相应的利用稀疏网络或者非稀疏的网络存储方式。然而实际上神经网络不一定是稀疏的。实际中运用的神经网络各层数据无论权重和特征数据的稀疏度都在5％-90％之间分布。也就是说某些层可以是稀疏的，也存在非稀疏层的情况，目前的存储格式很难高效率的适应这些问题。第二点，上述工作均把神经网络量化成固定的长度。实际上，为了进一步压缩神经网络的存储量，不同层的网络可以使用不同长度的量化模式。例如第一层使用8bit，第二层使用4bit进行量化。目前的稀疏神经网路加速器还无法同时处理不同量化的神经网络。其实的主要技术问题在于稀疏网络处理需要数据的索引值，不同量化模式的神经网络存储会造成索引值无法高效存储

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的神经网络的加速方法及装置。

第一个方面，本发明实施例提供一种神经网络的加速方法，包括：

对于神经网络中的任一层，根据层的量化模式，对输入至所述层的特征图进行分块，获得若干个块数据，对所述块数据中不同通道但同一位置的像素设置同一索引值；

计算所述块数据的稀疏度，抛弃全为0的块数据，对剩余的块数据，根据所述剩余的块数据的稀疏度以及预设阈值确定相应的稀疏类型，根据所述稀疏类型对所述剩余的块数据进行稀疏编码。

第二个方面，本发明实施例提供一种神经网络的加速装置，包括：

块数据获取模块，用于对于神经网络中的任一层，根据层的量化模式，对输入至所述层的特征图进行分块，获得若干个块数据，对所述块数据中不同通道但同一位置的像素设置同一索引值；

稀疏编码模块，用于计算所述块数据的稀疏度，抛弃全为0的块数据，对剩余的块数据，根据所述剩余的块数据的稀疏度以及预设阈值确定相应的稀疏类型，根据所述稀疏类型对所述剩余的块数据进行稀疏编码。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。