[发明专利]一种优化人工神经网络的方法

说明书

在本申请中，我们提出如何部署全部CNN给FPGA嵌入式平台加速器。我们提出了一种用于图像网络大规模分类的CNN加速器。具体而言，我们在嵌入式FPGA平台上更进一步，提出了一个基于嵌入式FPGA的加速设计，例如可用于图像网络大规模图像分类。

技术领域

本发明涉及人工神经网络(ANN)，例如卷积神经网络(CNN)，尤其涉及如何基于嵌入式FPGA实现压缩和加速的卷积神经网络。

背景技术

基于人工神经网络，尤其是卷积神经网络(CNN，Convolutional Neural Network)的方法在很多应用中都取得了极大的成功，尤其是在计算机视觉领域一直得到最强大的和广泛使用。

图像分类是计算机视觉(CV)中的一个基本问题。卷积神经网络(CNN)使得图像分类精度取得很大的进步。在Image-Net Large Scale Vision Recognition Challenge(ILSVRC)2012，Krizhevsky等人表示，通过在分类任务取得84.7％的前5项准确率，其中CNN具有很大作用，这是明显高于其他传统的图像分类方法。在接下来的几年里，例如在ILSVRC2013，ILSVRC2014和ILSVRC2015，精度提高到88.8％，93.3％和96.4％。

虽然基于CNN的方法具有最先进的性能，但与传统方法相比需要更多的计算和内存资源。大多数基于CNN方法必须依赖于大型服务器。然而，对于嵌入式系统有一个不可忽视的市场，这个市场要求高精度且能实时目标识别，如自动驾驶汽车和机器人。但对于嵌入式系统，有限的电池和资源是严重的问题。

为了解决这个问题，许多研究者提出了各种CNN加速技术，从计算到内存访问方面都进行了尝试。例如，参见C.Zhang,P.Li,G.Sun,Y.Guan,B.Xiao,and J.Cong,的文章“Optimizing fpga-based accelerator design for deep convolutional neuralnetworks”；T.Chen,Z.Du,N.Sun,J.Wang,C.Wu,Y.Chen,and O.Temam的文章“Diannao:Asmall-footprint high-throughput accelerator for ubiquitous machine-learning”；Y.Chen,T.Luo,S.Liu,S.Zhang,L.He,J.Wang,L.Li,T.Chen,Z.Xu,N.Sun等人的文章“Dadiannao:A machine-learning supercomputer”；D.Liu,T.Chen,S.Liu,J.Zhou,S.Zhou,O.Teman,X.Feng,X.Zhou,and Y.Chen的文章“Pudiannao:A polyvalent machinelearning accelerator”；Z.Du,R.Fasthuber,T.Chen,P.Ienne,L.Li,T.Luo,X.Feng,Y.Chen,and O.Temam的文章“Shidiannao:shifting vision processing closer to thesensor”；S.Chakradhar,M.Sankaradas,V.Jakkula,and S.Cadambi的文章“A dynamicallyconfigurable coprocessor for convolutional neural networks”；C.Farabet,B.Martini,B.Corda,P.Akselrod,E.Culurciello,and Y.LeCun的文章“Neuflow:Aruntime reconfigurable dataflow processor for vision”；C.Farabet,C.Poulet,J.Y.Han,and Y.LeCun的文章“Cnp:An fpga-based processor for convolutionalnetworks”。