[发明专利]缓存装置及缓存方法、计算装置及计算方法

说明书

本发明提供一种数据缓存装置及缓存方法、计算装置及计算方法。数据缓存装置包括一个搬运单元，搬运单元分别与一个第一存储单元和多个第二存储单元相连；搬运单元，用于接收搬运指令，搬运指令内容包括取数地址寄存器、目的地址寄存器以及预设的搬运规则；搬运单元，还用于执行所述搬运指令，以根据所述取数地址寄存器从所述第一存储单元中按行取出输入数据，并将每行中的数据逐个交替依序地缓存至所述目的地址寄存器所指示的各第二存储单元中。通过采用本发明的数据搬运和数据读取以及卷积方式，可以实现数据搬运和卷积运算并行，从而实现卷积单元的乒乓操作，提高卷积的效率，同时也无需在存储器中开辟两份数据存储空间，降低存储器开销。

技术领域

本发明涉及数据计算技术领域，具体涉及一种缓存装置及缓存方法、一种计算装置及计算方法、一种电子设备以及一种计算机可读存储介质。

背景技术

深度学习(Deep learning)是开展人工智能(Artificial intelligence，AI)的重要应用技术之一，其广泛应用于计算机视觉、语音识别等领域。其中卷积神经网络(Convolutional Neural Network，CNN)则是近年来引起重视的一种深度学习高效识别技术，它通过直接输入原始图像或数据，与多个特征滤波器(filter)进行若干层的卷积运算及矢量运算，从而在图像和语音识别方面产生高准确性结果。其中滤波器的规模可由1×1、3×3的小区块规模到5×5、7×7甚至是11×11的大规模卷积运算区块，因此卷积运算也是一种很耗费效能的运算。

为了追求分类准确度，CNN模型深度越来越深，模型复杂度也越来越高，如深度残差网络(ResNet)其层数已经多达152层。在某些真实的应用场景如移动或者嵌入式设备，如此大而复杂的模型面临着内存不足、响应延迟等问题，例如自动驾驶汽车的行人检测系统如果响应速度慢则会发生可怕的结果，因此大规模的CNN难以被应用，研究小而高效的CNN模型越来越成为CNN的发展趋势，例如Google提出的一种小巧而高效的CNN模型MobileNet，其在保持模型性能的前提下降低了模型大小，同时提升模型速度。

然而MobileNet的基本单元是深度级可分离卷积(depthwise separableconvolution)，它是一种可分解的卷积操作(factorized convolutions)，即可以分解为两个更小的操作：纵向深度卷积(depthwise convolution)和点卷积(pointwiseconvolution)。其首先采用depthwise convolution对不同输入通道分别进行卷积，然后采用pointwise convolution将上面的输出再进行结合，这样其实整体效果和一个标准卷积是差不多的，但是会大大减少计算量和模型参数量。但这也带来反面的效果，由于depthwise convolution不同于标准卷积那样重复利用feature数据，即从内存读入的feature数据仅仅卷积一次就被丢弃，这大大增加了内存的带宽压力，其卷积结构也很难适配现有的卷积加速器方案。

因此，有必要提出一种针对depthwise convolution的一种卷积运算方法和数据缓存方法，不需要额外的硬件资源即可实现大规模卷积运算区块，且增加卷积单元的利用率及缓冲单元的利用率。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种数据缓存装置及缓存方法、一种计算装置及计算方法。

本发明的一个方面，提供一种数据缓存装置，用于将一个第一存储单元中的输入数据缓存至多个第二存储单元中，所述数据缓存装置包括一个搬运单元，所述搬运单元分别与所述第一存储单元和所述多个第二存储单元相连；其中，

所述搬运单元，用于接收搬运指令，所述搬运指令内容包括取数地址寄存器、目的地址寄存器以及预设的搬运规则；

所述搬运单元，还用于执行所述搬运指令，以根据所述取数地址寄存器从所述第一存储单元中按行取出输入数据，并将每行中的数据逐个交替依序地缓存至所述目的地址寄存器所指示的各第二存储单元中。