[发明专利]神经网络计算加速器及其执行的方法

说明书

本申请提供了提供神经网络计算加速器及其执行的方法。其中，所述神经网络计算加速器包括多个硬件引擎，包括卷积引擎和至少一个第二引擎，每个硬件引擎包括执行神经网络运算的电路；和加速器内的缓冲存储器，用于存储输入特征图的第一输入区块和至少一个第二输入区块，其中所述至少一个第二输入区块与所述第一输入区块在所述缓冲存储器中重叠；其中所述卷积引擎运算以从所述缓冲存储器获取所述第一输入区块，对所述第一输入区块执行卷积运算以生成中间特征图的中间区块，并通过所述缓冲存储器将所述中间区块传递给所述第二引擎。实施本发明实施例，可以减少从系统内存中取出相邻区块所引起的数据移动。

技术领域

本发明涉及神经网络技术领域，并且更具体地，涉及神经网络计算加速器及其执行的方法。

背景技术

深度学习(Deep learning)因其在计算器视觉，语音识别，自然语言处理，生物信息学等领域中的优越性能而获得广泛接受。深度学习是机器学习的一个分支，它使用包含多个隐藏层的人工神经网络。一种称为卷积神经网络(CNN，Convolutional NeuralNetwork)的人工神经网络已被深度学习用于诸如图像数据的大数据集。

神经网络不仅是计算密集型的，而且还导致大量的内存访问。例如，神经网络计算的核心计算是卷积。对于特征提取，输入图像可以与一组输入通道(例如，红色，绿色和蓝色)上的一组滤波器卷积，然后是非线性计算，下采样计算和类别得分计算。计算通常会对处理器外部的系统内存进行大量数据访问。因此，需要改进神经网络计算以提高系统性能。

发明内容

本发明提供神经网络计算加速器及其执行的方法，可以减少从系统内存中取出相邻区块所引起的数据移动。

本发明提供一种神经网络计算加速器，包括：多个硬件引擎，包括卷积引擎和至少一个第二引擎，每个硬件引擎包括执行神经网络运算的电路；和加速器内的缓冲存储器，用于存储输入特征图的第一输入区块和至少一个第二输入区块，其中所述至少一个第二输入区块与所述第一输入区块在所述缓冲存储器中重叠；其中所述卷积引擎运算以从所述缓冲存储器获取所述第一输入区块，对所述第一输入区块执行卷积运算以生成中间特征图的中间区块，并通过所述缓冲存储器将所述中间区块传递给所述第二引擎。

本发明提供一种用于神经网络计算的加速器执行的方法，包括：通过加速器中的卷积引擎获取来自加速器内的缓冲存储器的输入特征图的第一输入区块；对所述第一输入区块执行卷积运算以生成中间特征图的中间区块；和通过缓冲存储器将所述中间区块传递到加速器中的第二引擎；其中所述缓冲存储器存储第一输入区块和至少一个第二输入区块，所述至少一个第二输入区块与所述第一输入区块在所述缓冲存储器中重叠。

由上可知，本发明的技术方案中所述至少一个第二输入区块与所述第一输入区块在所述缓冲存储器中重叠，因此，可以减少从系统内存中取出相邻区块所引起的数据移动。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据一个实施例的包括用于神经网络计算的DLA 100的系统。

图2说明了卷积运算的一个例子。

图3A和图3B示出了根据一些实施例的输入特征图310中的重叠输入区块的示例。

图4A和图4B示出了根据一些实施例的卷积缓冲器151的存储内容。

图5示出了根据一个实施例的池化引擎113的输入的示例。

图6示出了根据一个实施例的中间特征图530中的跨区块数据重用的示例。