[发明专利]实现神经网络卷积转置层的方法和系统

说明书

用于在包括多个输入元素的输入张量和包括多个滤波器权重的滤波器之间执行卷积转置运算的方法和系统。所述方法包括：将所述滤波器划分为多个子滤波器；使用硬件逻辑，在所述输入张量和所述多个子滤波器的每一个之间执行卷积运算，以生成多个子输出张量，每个子输出张量都包括多个输出元素；以及使用硬件逻辑，交错所述多个子输出张量的所述输出元素，以形成用于所述卷积转置的最终输出张量。

技术领域

本申请涉及在输入张量和滤波器之间执行卷积转置运算的方法、系统和集成电路。

背景技术

深度神经网络(DNN)是一种包括多个链接层的人工神经网络，这些链接层使DNN能够执行信号处理任务，包括但不限于计算机视觉任务。每一层都接收输入数据，根据该层处理输入数据以产生输出数据，输出数据作为输入数据提供给下一层或作为DNN的最终输出进行输出。因此，第一层将原始输入数据(例如，图像)作为输入数据接收到DNN。所有其他层都从上一层作为输入数据，接收输出数据(也可以称为中间数据)。

对一层的输入数据执行的处理基于该层的类型。例如，DNN的每一层都可以是多种不同类型中的一种。示例DNN层类型包括但不限于卷积层、激活层、归一化层、池化层和卷积转置层。对于本领域技术人员将显而易见的是，这些是示例性DNN层类型，并且这不是详尽的列表，并且可能存在其他DNN层类型。

对于卷积层，通过将输入数据与与该层相关联的权重进行卷积来处理输入数据。具体地，如图1所示，输入到卷积层的输入数据A通常被布置为输入元素(其可以被称为神经元或激活)的P平面p的张量，其中每个平面p都具有维度XxY。每个平面都可以被称为输入通道。卷积层与由多个权重w₀...w_n形成的一个或多个可训练的滤波器W或内核相关联。每个滤波器W_i的维度为mxnxP，并通过分别在x和y方向以步长s和t在输入张量上滑动滤波器W，使其与输入张量A卷积，如图1所示。特定方向上的步长称为该方向上的步幅。在每个步骤中，计算输入元素和滤波器权重的点积以产生输出元素(可以称为输出神经元)。在任何步骤应用于滤波器权重的输入元素都称为输入张量A的窗口。因此，每个滤波器W_i都产生输出的输出平面B(即，输出元素或输出神经元的二维集合，其可以称为激活图或输出通道)。例如，具有12个滤波器W的卷积层将产生包含12个平面的输出。

通常，卷积运算会产生在x和/或y方向上相对于输入张量A较小的输出张量B。例如，如图2所示，5x 5输入张量A202与3x 3滤波器W 204卷积，并且在x和y方向上的步幅为2，将产生2x 2输出张量B 206。