[发明专利]一种用于实现ANN的深度处理单元

说明书

技术领域

本发明涉及人工神经网络(ANN)，例如卷积神经网络(CNN)，尤其涉及如何基于嵌入式FPGA实现压缩和加速的卷积神经网络。

背景技术

基于人工神经网络，尤其是卷积神经网络(CNN，Convolutional Neural Network)的方法在很多应用中都取得了极大的成功，尤其是在计算机视觉领域一直得到最强大的和广泛使用。

图像分类是计算机视觉(CV)中的一个基本问题。卷积神经网络(CNN)使得图像分类精度取得很大的进步。在Image-Net Large Scale Vision Recognition Challenge(ILSVRC)2012，Krizhevsky等人表示，通过在分类任务取得84.7％的前5项准确率，其中CNN具有很大作用，这是明显高于其他传统的图像分类方法。在接下来的几年里，例如在ILSVRC2013，ILSVRC2014和ILSVRC2015，精度提高到88.8％，93.3％和96.4％。

虽然基于CNN的方法具有最先进的性能，但与传统方法相比需要更多的计算和内存资源。大多数基于CNN方法必须依赖于大型服务器。然而，对于嵌入式系统有一个不可忽视的市场，这个市场要求高精度且能实时目标识别，如自动驾驶汽车和机器人。但对于嵌入式系统，有限的电池和资源是严重的问题。

为了解决这个问题，许多研究者提出了各种CNN加速技术，从计算到内存访问方面都进行了尝试。例如，参见C.Zhang,P.Li,G.Sun,Y.Guan,B.Xiao,and J.Cong,的文章“Optimizing fpga-based accelerator design for deep convolutional neural networks”；T.Chen,Z.Du,N.Sun,J.Wang,C.Wu,Y.Chen,and O.Temam的文章“Diannao:A small-footprint high-throughput accelerator for ubiquitous machine-learning”；Y.Chen,T.Luo,S.Liu,S.Zhang,L.He,J.Wang,L.Li,T.Chen,Z.Xu,N.Sun等人的文章“Dadiannao:A machine-learning supercomputer”；D.Liu,T.Chen,S.Liu,J.Zhou,S.Zhou,O.Teman,X.Feng,X.Zhou,and Y.Chen的文章“Pudiannao:A polyvalent machine learning accelerator”；Z.Du,R.Fasthuber,T.Chen,P.Ienne,L.Li,T.Luo,X.Feng,Y.Chen,and O.Temam的文章“Shidiannao:shifting vision processing closer to the sensor”；S.Chakradhar,M.Sankaradas,V.Jakkula,and S.Cadambi的文章“A dynamically configurable coprocessor for convolutional neural networks”；C.Farabet,B.Martini,B.Corda,P.Akselrod,E.Culurciello,and Y.LeCun的文章“Neuflow:A runtime reconfigurable dataflow processor for vision”；C.Farabet,C.Poulet,J.Y.Han,and Y.LeCun的文章“Cnp:An fpga-based processor for convolutional networks”。

然而，大多数现有技术只考虑小型CNN模型的加速，例如：用于简单的任务，如MNIST手写数字识别，5层LeNet，参见Y.LeCun,L.Bottou,Y.Bengio,and P.Haffner的文章“Gradient-based learning applied to document recognition”。

用于大规模图像分类的现有CNN模型具有极高的复杂性，因此只能存储在外部存储器中。在这种情况下，内存带宽成为CNN加速的一个严重问题，尤其是对于嵌入式系统。此外，以往的研究侧重于卷积(CONV)层加速，而完全连接(FC)层并没有深入研究。