[发明专利]神经网络处理装置

说明书

本申请实施例提供一种神经网络处理装置，该装置包括：计算单元阵列，用于执行卷积运算，所述计算单元阵列内部存储有所述卷积运算的权重数据；一个或多个存储模块，与所述计算单元阵列相连，用于存储所述卷积运算的特征数据。本申请实施例提供的神经网络处理装置并非采用集中式存储，而是将卷积计算的权重数据和特征数据分开存储。从而能够提高计算单元阵列与存储模块之间的数据交互效率。进一步地，该神经网络处理装置中的权重数据是存储在计算单元阵列内部的，这样可以缩短权重数据到达计算单元阵列中的每个计算单元的数据传输路径，从而能够降低数据传输路径的时延和功耗。

技术领域

本申请涉及人工智能领域，具体涉及一种神经网络处理装置。

背景技术

相关技术中，用于执行卷积运算的神经网络处理装置通常包括多个计算单元和集中存储模块。其中，每个计算单元均与集中存储模块相连，以读取或存储数据。当多个计算单元同时访问集中存储模块时，需要排队进行数据读取或存储，数据交互效率较低。另外，计算单元与集中存储模块之间的数据传输路径较长，也存在数据传输时延长、功耗高的问题。

发明内容

为了解决上述问题，本申请实施例提供一种神经网络处理装置，包括：计算单元阵列，用于执行卷积运算，所述计算单元阵列内部存储有所述卷积运算的权重数据；一个或多个存储模块，与所述计算单元阵列相连，用于存储所述卷积运算的特征数据。

可选地，所述卷积运算包括m个输入通道对应的m组运算，m为大于或等于1的正整数；所述计算单元阵列包括m行计算单元，所述m行计算单元分别对应于执行所述m组运算，且所述m行计算单元中分别存储有所述m组运算对应的权重数据。

可选地，所述一个或多个存储模块包括m个存储模块，所述m个存储模块与所述m行计算单元一一对应，所述m个存储模块分别用于存储所述m行计算单元运算所需的特征数据。

可选地，所述m个存储模块中的每个存储模块与所述每个存储模块对应的计算单元位于同一行。

可选地，所述计算单元阵列包括m列计算单元，所述处理装置还包括：m个累加器，分别位于所述m列计算单元的一端，用于对所述m列计算单元的计算结果进行累加，得到m个累加结果。

可选地，所述m个累加器分别通过m个数据传输路径与所述m个存储模块相连，以将所述m个累加结果存储至所述m个存储模块，且所述m个数据传输路径的长度相等。

可选地，所述m列计算单元分别对应于执行m个卷积核的运算，且所述m列计算单元中分别存储有所述m个卷积核对应的权重数据。

可选地，所述计算单元阵列中的每一个计算单元内均设置有一个存储模块。

可选地，所述卷积运算的权重数据按行和/或按列均匀分布在所述计算单元的存储模块中。

可选地，所述计算单元阵列为张量计算引擎，所述处理装置还包括向量计算引擎。

本申请实施例提供的神经网络处理装置并非采用集中式存储，而是将卷积计算的权重数据和特征数据分开存储。也就是说，该神经网络处理装置中的计算单元可以对卷积运算中的权重数据和特征数据进行同时访问，从而能够提高计算单元阵列与存储模块之间的数据交互效率。进一步地，该神经网络处理装置中的权重数据是存储在计算单元阵列内部的，这样可以缩短权重数据到达计算单元阵列中的每个计算单元的数据传输路径，从而能够降低数据传输路径的时延和功耗。

附图说明

图1为本申请一实施例提供的卷积运算的示意图。

图2为本申请一实施例提供的神经网络处理装置的结构示意图。

图3为本申请另一实施例提供的神经网络处理装置的结构示意图。

图4为本申请一实施例提供的计算单元的内部结构示意图。