[发明专利]一种面向卷积神经网络的低功耗电压可调卷积运算模块

说明书

本发明公开了一种面向卷积神经网络的低功耗电压可调卷积运算模块，包括数据传输单元、电压可调缓存单元、卷积运算模块三部分。对于卷积神经网络，卷积运算占据整体运算量的一半以上，而卷积计算时图像数据矩阵中数据会被同一卷积核读取多次，且存在多个卷积核对这些数据进行同时访问的情况，使数据重用频次进一步提高。由于数据矩阵中的数据重用频次存在较大差异，将重用频次相同或相近的数据存放在一起，根据缓存中数据重用频次的分布调节存储模块电压，可以降低卷积神经网络加速器的整体功耗。本发明提出的低功耗电压可调卷积运算模块可以根据不同重用次数，进行不同缓存区域的电压调节，用以完成不同规模及步长情况下的卷积运算。

技术领域

本发明涉及一种面向卷积神经网络的低功耗电压可调卷积运算模块，利用卷积运算中存在数据大量重用的规律，实现卷积神经网络进行大数量循环卷积运算，对数据进行重用。在卷积网络的一层卷积运算中，根据数据重用频度比例，在缓存中的不同存储片区中选取不同电压，降低功耗。属于神经网络硬件加速器技术领域。

背景技术

卷积运算在图像处理领域有着广泛的用途，例如在图像滤波、图像增强、图像分析等处理时都要用到卷积运算，图像卷积运算实质是一种矩阵运算，其特点是运算量大，并且数据复用率高，用软件计算图像卷积很难达到实时性的要求。

卷积神经网络作为一种前馈多层神经网络，能够对大量有标签数据进行自动学习并从中提取复杂特征，卷积神经网络的优点在于只需要对输入图像进行较少的预处理就能够从像素图像中识别出视觉模式，并且对有较多变化的识别对象也有较好的识别效果，同时卷积神经网络的识别能力不易受到图像的畸变或简单几何变换的影响。作为多层人工神经网络研究的一个重要方向，卷积神经网络多年来一直是研究的热点。

传统方式卷积运算的缓存是直接从外部存储读取，由于受到数据读取带宽的限制，以及没有可配置阵列，完成多层卷积循环运算，效率较低。如果能把进入缓存中的一块数据完全利用，不用根据轨迹的变化，不断从外存中读取，将降低吞吐要求，并且解决了不同重用次数数据之间存在读取时间等待的问题，即不同缓存区域数据可以对应不同读取主频这里选用不同电压的缓存，那些重用次数低，对读取主频要求的数据可以在低电压缓存区域，根据低重用次数数据的占比，可以动态调节电压，降低功耗。

对于典型卷积神经网络，其卷积计算量占据整体计算的主要部分，而卷积计算时，图像数据矩阵中许多数据会被同一卷积核重用多次，而且存在多个卷积核，这样就会存在更多数据重用。卷积网络卷积运动是十分有规律的，如果具体到每个数据的重用次数，根据读取频度做存储分配，不同缓存对应不同电压，不同于原有电压不考虑读取次数多少的问题，功耗会大为降低。目前便携式设备最主要的问题就是功耗，而本发明的出发点就是通过重用次数分析，数据在不同电压缓存中分布，降低功耗。

发明内容

发明目的：针对现有技术中存在的卷积计算中吞吐量低等问题，本发明提供一种面向卷积神经网络的低功耗电压可调卷积运算模块，可以加速完成大数量卷积计算的要求，对数据进入缓存是规整读取数据块再转换为一维数据，降低对宽带的压力。根据输入图像数据重用结构，利用循环卷积运算中的高重用率特性，对应不同重用次数在数据中的占比，可以调节电压，平衡不同重用次数间的读取速率，达到降低功耗的目的，并且卷积运算的卷积核及图片规模变化都适用于此方法。

技术方案：一种面向卷积神经网络的低功耗电压可调卷积运算模块，包括数据传输单元、电压可调缓存单元、卷积计算单元三部分。

所述数据传输单元，将计算数据根据此次卷积运算的卷积核及图片的规模大小，获得图像数据重用分布，切割数据块与卷积核大小一致，并转换为一维数据进入电压可调缓存单元。

在电压可调缓存单元，根据进入电压可调缓存单元的一维数据的重用次数累加和，与达到此累加和的先后顺序，仲裁在缓存单元中不同存储片区的排布，按重用频度从高到低的排布，选取高重用频度数据(重用6次及以上)进入高电压缓存区域，低重用频度数据(重用5次及以下)进入低电压缓存区域，根据重用频度将数据存储至相应电压的缓存区域。