[发明专利]一种用于目标识别的卷积神经网络及其识别方法

说明书

本发明公开了一种用于目标识别的卷积神经网络及其识别方法，涉及目标识别技术领域，本发明提出一种新型的硬件实现方式，针对卷积神经网络数据流的新型的微结构和处理过程，在卷积神经网络数据流的输入层/输出层采用磁性随机存储器记录前输入数据和输出标签，然后，通过比较输入层上的新进数据和现存数据，仅更新和重算以事件驱动发生改变的子集。在复杂度/能量/电池寿命方面有高强度要求或限制的应用场景中，本发明所述的基于磁性随机存储器的事件驱动卷积神经网络及其识别方法，具有各个方向上的高端性能，比如分辨率，工作频率，数据吞吐量以及准确性，以及工作模式和待机模式下的低功耗。

技术领域

本发明涉及目标识别的图像或视频领域，尤其涉及一种用于目标识别基于磁性随机存储器的事件驱动卷积神经网络。

背景技术

至今为止，目标识别存在多种解决方案和硬件实现方式，如GPU/CPU/DSP/基于MCU的芯片，以及基于神经网络的专用硬件，如卷积神经网络CNN或脉冲神经网络SNN。基于推理的GPU或CPU是灵活可编程的，提供了目标识别较高的吞吐量/分辨率和准确度，然而，这些方案都受限于功率效率，从几瓦到几百瓦，不能达到几毫瓦到几十毫瓦的平均功率目标。具体来说，为了提高功率效率，必须使用专用的结构：

内嵌DSP的低功耗MCU可以提供很低的低功耗能力(如零点几毫瓦)，为了保持这样的功率效率，只能受限于处理低分辨率的图像识别任务。虽然内嵌DSP的低功耗MCU可以提供较低的待机电流和可能的高频率，但要以吞吐量和复杂度受限为代价。

卷积神经网络CNN是高度并行的，分别处理输入单元，是数字的且以同步的方式处理。现有的CNN数据流采用SRAM储存输入，输出和中间结果。非易失性存储器NVM，包括磁性随机存储器MRAM，能用来存储深度神经网络DNN模型的突触权值和馈送(以只读方式)，给处理单元进行乘加操作。然而，SRAM是易失的，而且待机状态下有泄漏功耗。在一些高端的应用中，这样的结构，如果不是花费大量的功耗，是无法从前次运行中保持数据的。唯一的解决办法是关闭芯片进行重新计算，甚至在某些数据并没有变化的场合，而且重新计算又再次带来巨大的功耗。

脉冲神经网络SNN是将信息通过脉冲序列编码，使用异步逻辑(计算时不使用时钟)，也就是，脉冲神经网络从基本上来说，是事件驱动的，仅当变化发生时处理输入。和卷积神经网络一样，脉冲神经网络也是分别处理输入单元(以网格方式)。这样的结构在活动和待机状态下都是高度节能的，并能提供高吞吐量，但是只能处理低分辨率和图像识别的任务，准确度和可靠性，最高频率也是受限的。和完成类似任务的数字芯片相比，脉冲神经网络也在芯片面积上占用较多(由于使用模拟和异步技术)，而且脉冲神经网络的可编程性也比较差。

内存内计算并不真的算本发明的现有技术，现有技术中已采用内存内计算技术来提高功耗效率，面积利用率和吞吐量。在图像处理任务中，它可以替换模拟/数字神经元、CPU或DSP来进行乘加操作。

在上述现有技术中，现有技术的缺点是受限的功率效率，较低的功率效率限制了各类应用场景的复杂度，如低分辨率、低工作频率、低数据吞吐量、低准确性以及低可靠性。同时，现有技术的高功耗(包括活动功耗和待机功耗)也限制了各类以电池为电源的应用场景。

在复杂度/能量/电池寿命方面有高强度要求或限制的应用场景中，这些问题限制了现有技术中的结构的运用。因此，本领域的技术人员致力于开发一种基于磁性随机存储器的事件驱动卷积神经网络，使其具有各个方向上的高端性能，比如分辨率，工作频率，数据吞吐量以及准确性，以及工作模式和待机模式下的低功耗。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题主要是如何处理功率随着吞吐量/频率/分辨率和准确度的提高而增加的问题，以及平均处理延迟随着识别的复杂度/分辨率和准确度的提高而增加的问题。本发明将会聚焦在现有的卷积神经网络的拓扑结构或脉冲神经网络，内存内计算技术，MCU/DSP等的能量效率。