[发明专利]一种张量数据的区域化并行载入装置及方法

说明书

本发明提供一种张量数据的区域化并行载入装置及方法。此装置设计包括：并行输入寄存阵列，为输入缓存中的输入特征图提供数据重排布的快速寄存区域；并行输入数据访问引擎，对并行输入寄存阵列中的数据进行区域化的并行访问，采用这种设计后，可简化连接电路的结构，使芯片面积与功耗得到优化。

技术领域

本发明属于计算机硬件、人工神经网络算法部署硬件加速的领域，数字集成电路设计领域，具体涉及一种深度卷积神经网络硬件加速芯片的输入数据的关键处理装置，及其设计方法。

背景技术

深度卷积神经网络算法由多层具体的神经元算法层、隐藏层组成，主要包含有卷积层，主要算子为矩阵或向量的卷积计算。该计算任务的主要特点为输入的数据量大、输入数据具有空间特征信息的耦合，且每次卷积计算的数据往往与已经计算过的数据发生重叠，输入数据往往为从张量格式的数据中以一定空间规律抽取所需要的计算数据。计算所需算力大，所需要的数据更大。而在终端芯片上部署人工神经算法，由于加速芯片的硬件资源有限，必须要将数据进行分割处理，对于每一份分割的数据要尽量利用输入数据的空间耦合性，避免因反复装填重复的数据造成的带宽浪费；而对于不同领域和产业场景所常用的人工神经网络算法不同，数据分割处理应设计为尽量简单、便于实现的方法，否则将无法支持低成本、快速的应用场景下的开发任务。

专利文件1（公开号CN105488565A）公开了一种加速深度神经网络算法的加速芯片的运算装置及方法，为克服大量的中间值被生成并需要存储，从而所需主存空间增加的问题，其运算装置中均设置有中间值存储区域，减少对主存储器的中间值读取和写入次数。专利文件2（公开号USB0170103316A1）公开了一种卷积神经网络加速器的方法、系统及装置，在其中设计了Unified Buffer。由于不同神经网络算法层尺寸不一、数据重用度不同，容易导致加速器资源的浪费，专利1需要配合其他异构处理器来帮助加速数据排布任务，开始逐渐走向服务器端应用的方向；而专利2由于采取巨大的并行计算规模和存储规模的策略，也只能用于服务器、数据中心等场景。

专利文件3（申请公布号CN107341544A）公开了一种基于可分割阵列的可重构加速器及其实现方法，设计了便笺式存储器缓存区，用于实现数据重用。采用可重构计算思想，虽然在解决资源浪费问题方面接近理论的最好结果，但其数据分割和排布方法也极为复杂，导致重新部署新的网络难度很高。专利文件4（公开号US20180341495A1）公开了一种卷积神经网络加速器及方法，其中采用cache装置来提供并行加速所需数据。专利4的发明与中央处理器的设计过于耦合，设计实现复杂度也过高。

发明内容

本发明提供一种张量数据的区域并行数据载入装置及其方法，可以降低应用的复杂度与成本，也降低硬件电路设计的复杂度、降低芯片的面积和功耗，同时还能提供高吞吐率、高性能的并行数据带宽。

为实现上述目的，本发明提供了一种区域并行数据载入装置，该并行载入装置包括：

张量型数据载入单元，控制从数据缓存的数据在特定时机下刷新寄存阵列中的数据；

并行输入寄存阵列，为输入缓存中的输入特征图提供数据重排布的快速寄存区域，所寄存的数据将作为并行加速计算单元阵列进行高带宽计算的输入数据，可供随机访问或同时并行、并发的多路访问；

并行输入数据访问引擎，对上述并行输入寄存阵列中的数据进行区域化的并行、并发访问，无需对上述寄存阵列进行整体访问，也不会造成任何数据缺失。

本发明的区域并行数据载入装置，其中，所述并行输入寄存阵列用于缓存输入缓存中存储的关于深度卷积神经网络算法层所输出的特征图，该并行输入寄存阵列提供数据重排布的快速寄存区域，简化了输入数据排布的难度；该并行输入寄存阵列可以被反复访问，当其中的数据已经作废时，可重新从输入缓存中快速写入新的数据；该寄存阵列支持随机访问、同时并行访问和多路并发访问，并发的路数不小于深度卷积神经网络硬件并行加速器其中的并行加速计算单元的数量。