[发明专利]支持稀疏神经网络计算加速器的稀疏数据选择逻辑模块

说明书

本发明属于集成电路设计技术领域，具体为支持稀疏神经网络计算加速器的稀疏数据选择逻辑模块。对应于稀疏度最大为r的神经网络加速器，本发明的稀疏数据选择逻辑模块由r组选择模块组成，每个选择模块包括一个FIFO、一个N输入MUX及一个缓存REG；其计算过程为：分r个时钟节拍读入r×N个数据至FIFO，同时每个节拍从FIFO输出的N个数中选出对应非零权重的有效数N/r个至输出REG中；r个时钟节拍共生成N个有效数据完成选择计算。本发明设计简单、速度快，在保证计算效率与传统方案同等的前提下降低数据带宽与逻辑资源需求r倍，也即数据带宽与逻辑资源与稀疏率无关。从而可以有效的应用在高稀疏度的神经网络计算上。

技术领域

本发明属于集成电路设计技术领域，具体涉及一种支持稀疏神经网络计算加速器的稀疏数据选择逻辑模块。

背景技术

神经网络是一种重要的人工智能解决方案，在图像处理与识别、机器视觉、视频检测、语音识别上都有重要的作用。而专用计算加速器的设计对于神经网络计算的落地应用至关重要。目前神经网络计算加速器有ASIC方案与FPGA方案，另外通用GPU也有集成面向神经网络的专用计算单元的趋势，以达到高计算速度、低能耗、低成本的综合效果。

稀疏神经网络是一种含有大量零值权重数据的神经网络。从神经元结构角度看，稀疏神经网络是由稀疏神经元构成，而每个稀疏神经元有大量的权重为零，这表示其对应的输入数据为无关数据，可以剪枝消除，从而达到成倍的减少计算量的效果。对于面向图像处理与视频检测的卷积神经网络，近年的研究表明通过有效训练，可以达到稀疏率75％至90％而基本保持神经网络的识别准确率。这里，稀疏率指数值为零的权重数量与总权重数量的比例。研究设计面向稀疏神经网络的计算加速器可以在同样的神经元计算单元的情况下成倍的提高计算速度，并降低计算能耗，从而具有非常大的实用价值。

稀疏神经网络计算加速器与普通神经网络计算加速器相比，需要增加一个数据选择模块。其作用是从输入数据中选出对应非零权重的数据以传给神经元进行点积计算。

假设每个神经元计算单元的输入数是N，神经网络总权重数量与非零权重数量的比例是r，我们称其为稀疏度。稀疏神经网络加速器需要在每个时钟节拍里读入r×N个输入数据并选出 N个对应于非零权重的数据传给神经元进行计算。我们以一个2选1MUX为面积计算单位。这种设计需要N个r×N输入的MUX，其面积为A＝N×(rN-1)＝rN²-N。相应的数据输入带宽为B＝r×N×W,其中W为数据位宽。这个方案导致面积与数据带宽都正比于稀疏度r。从而对于高稀疏度的神经网络会导致较高的设计成本。

发明内容

本发明的目的在于提供一种可降低输入数据带宽和面积需求的支持稀疏神经网络计算加速器的稀疏数据选择逻辑模块。

本发明提出的支持稀疏神经网络计算加速器的稀疏数据选择逻辑模块，采用一种多时钟的选择逻辑以及选择逻辑与计算逻辑相结合的流水线结构方案，相比于传统的方案，可以大大输入数据带宽及逻辑资源需求。

一个加速器由多个PU组成,并且共享同一组输入数据,PU代表一个神经元计算单元,每个 PU可以接受N个输入数据并与预先存储的N个权重进行点积计算。