[发明专利]用于数据管理的系统和方法

说明书

提供了用于数据管理的方法，该方法包括：将多个数据项存储在存储器内的连续空间中；执行包含共同标识所述连续空间的地址和大小的指令以将所述多个数据项从主存储器传输到芯片上的随机存取存储器(RAM)，并且所述芯片含有包括多个乘法器的计算单元；以及指示所述芯片上的所述计算单元执行如下：从所述RAM中提取所述多个数据项中的数个数据项；以及使用所述多个乘法器对所述数个数据项执行多个并行操作以产生输出数据。

相关申请的交叉引用

本申请主张2016年12月9日提交的PCT申请第PCT/CN2016/109258号、2016年12月9日提交PCT申请第PCT/CN2016/109257号、以及2017年9月1日提交的PCT申请第PCT/CN2017/100201号的优先权和权益，其全部内容通过引用而合并于此。

背景技术

诸如卷积神经网络(CNN)之类的深度计算框架已经用于许多应用领域，包括模式识别、信号处理、时间序列分析等。CNN需要大量计算，其涉及在训练期间和在行业中部署训练好的网络时的通常大量的参数。CNN被部署在与现实世界交互的移动和嵌入式系统中。然而，需要如此大量计算和数据的CNN的效率可能受到功率(例如，电池)、存储器访问带宽、以及通信成本的限制。

通用处理器可以是可编程的以执行复杂的计算。然而，这样的处理器可能消耗更多的功率且以较低的速度执行操作。图形计算单元(GPU)可以被配置为比通用处理器运行得更快；然而可能需要更高的功耗。具有一种能够满足减少延迟和低功耗要求的方法和系统将是有益的。

发明内容

提供了一种用于数据管理的系统和方法，以便减少存储器访问时间并提高计算效率。与CNN相关联的计算和存储器访问模式通常有助于优化的芯片设计。因此，该系统和方法可以包括在单个芯片上实现CNN的应用。数据管理可以包括将诸如神经网络参数和输入特征图之类的多个数据项相对于多个区域和多个切片排列在存储器中，并减少主存储器与具有RAM和能够执行并行操作的计算单元这样的芯片之间的流量。根据本申请的一个方面，提供了一种用于数据管理的系统。实践中，该方法包括：将多个数据项存储在存储器内的连续空间中；执行包含共同标识所述连续空间的地址和大小的指令以将所述多个数据项从主存储器传输到芯片上的随机存取存储器，并且所述芯片含有包括多个乘法器的计算单元；以及指示所述芯片上的所述计算单元执行如下：从所述RAM中提取所述多个数据项中的数个数据项；以及使用所述多个乘法器对所述数个数据项执行多个并行操作以产生输出数据。

在一些实施例中，该方法还包括：在将所述多个数据项存储到所述连续空间中之前确定所述主存储器中的地址和大小。在一些实施例中，所述方法还包括：发出指令，该指令允许计算单元获得关于所述多个数据项如何排列在所述连续空间中的信息。在一些情况下，所述方法还包括：接收有关神经网络的信息，其中，多个组对应于所述神经网络的多个层，所述多个数据项包括所述神经网络的参数，并且其中，所述多个并行操作对应于与所述多个层中的一个层相关联的乘法。在一些情况下，针对所述多个层中的一个层，关于所述神经网络的信息包括：过滤器的数量、通道的数量和过滤器大小的组合。在一些情况下，所述方法还可以包括：针对所述一个层，根据所述通道的数量确定切片的数量，且所述连续空间被划分为多个区域，每个区域是连续的；以及将多个区域中的一个区域内的部位划分为至少所述数量的切片，每个切片是连续的，且所述存储包括对被分到多个组中的一个组的数据项跨所述切片数量进行排列，使得存储在离所述数量的切片的各起始点有相同的偏移处的所有数据项都用于并行操作。在一些情况下，所述方法还可以包括：针对所述一个层，根据所述过滤器大小确定切片的数量，且所述连续空间被划分为多个区域，每个区域是连续的；以及将所述多个区域中的一个区域内的部位划分为至少所述数量的切片，每个切片是连续的，且所述存储包括对所述数据项跨所述切片数量进行排列，使得存储在离所述数量的切片的各起始点有相同的偏移处的所有数据项都用于并行操作。