[发明专利]可编程二维图像处理器上的卷积神经网络

说明书

描述了一种方法，其包括在具有执行通道阵列和二维移位寄存器的图像处理器上执行卷积神经网络层。二维移位寄存器为执行通道提供局部相应的寄存器空间。卷积神经网络的执行包括将三维图像数据块的图像数据的平面加载到二维移位寄存器。执行卷积神经网络还包括通过依次进行以下步骤来执行图像数据的平面与系数值阵列的二维卷积：在执行通道内同时相乘相应的像素和系数值以产生部分乘积的阵列；在执行通道内同时将部分乘积和保存在图像数据内不同模板的二维寄存器中的部分乘积的相应累积值求和；以及通过移位二维移位寄存器阵列内的内容来实现执行通道内的二维卷积的值的对齐。

技术领域

本描述一般涉及图像处理，更具体地，涉及一种二维图像处理器上的卷积神经网络。

背景技术

图像处理通常包括处理组织成阵列的像素值。此处，在空间上组织的二维阵列捕获图像的二维性质(附加的维度可以包括时间(例如一系列二维图像)和数据类型(例如颜色))。在通常情况下，排列的像素值由相机提供，相机产生一幅静止图像或是一系列帧以捕获动态图像。传统的图像处理器通常落入两个极端之一。

第一个极端通过在通用处理器或类似通用处理器(general purpose-likeprocessor)(例如，具有向量指令增强的通用处理器)上执行软件程序来进行图像处理任务。尽管第一个极端通常提供了高度通用的应用软件开发平台，但其使用更细粒度的数据结构结合相关联的开销(overhead)(例如指令提取与解码、芯片上与芯片外的数据的处理、推测执行)，最终导致在程序代码的执行期间，每单元数据消耗更大量的能量。

第二个相反的极端将固定函数硬接线(hardwired)电路应用于更大的数据块。使用直接应用于定制设计电路的更大的(相对于细粒度的)数据块，大大降低了每单元数据的能耗。然而，使用定制设计的固定函数电路通常导致了该处理器所能执行的任务的有限集合。因此，第二个极端中缺乏(与第一个极端相关联的)广泛通用的编程环境。

提供高通用应用软件开发机会结合每单元数据的改善的能效的技术平台仍然是需要但缺乏的技术方案。

发明内容

描述了一种方法，其包括在具有执行通道阵列和二维移位寄存器的图像处理器上执行卷积神经网络层。二维移位寄存器为执行通道提供局部相应的寄存器空间。卷积神经网络的执行包括将三维图像数据块的图像数据的平面加载到二维移位寄存器。执行卷积神经网络还包括通过依次进行以下步骤来执行图像数据的平面与系数值阵列的二维卷积：在执行通道内同时相乘相应的像素和系数值以产生部分乘积的阵列；在执行通道内同时将部分乘积和保存在图像数据内不同模板的二维寄存器中的部分乘积的相应累积值求和；以及通过移位二维移位寄存器阵列内的内容来实现执行通道内的二维卷积的值的对齐。

描述了一种装置，其具有用于在图像处理器上执行卷积神经网络层的装置，该图像处理器具有执行通道阵列和二维移位寄存器。二维移位寄存器为执行通道提供局部相应的寄存器空间。用于执行卷积神经网络的装置包括将三维图像数据块的图像数据的平面加载到二维移位寄存器的装置。用于执行卷积神经网络的装置还包括用于通过依次进行以下步骤来执行图像数据的平面与系数值阵列的二维卷积的装置：在执行通道内同时相乘相应的像素和系数值以产生部分乘积的阵列；在执行通道内同时将部分乘积和保存在图像数据内不同模板的二维寄存器中的部分乘积的相应累积值求和；以及通过移位二维移位寄存器阵列内的内容来实现执行通道内的二维卷积的值的对齐。

附图说明

下面的描述和附图用于解释多种实施例。在图中：

图1示出了图像处理器硬件架构的实施例。

图2a、2b、2c、2d和2e描绘了把图像解析成线组，把线组解析表以及在具有重叠模板的表上执行的操作；

图3a示出了模板处理器的实施例；

图3b示出了指令格式的实施例；

图4示出了在模板处理器中的数据计算单元的实施例；