[发明专利]一种在计算系统中实现卷积运算的方法及计算系统

说明书

本发明公开了一种在计算系统中实现卷积运算的方法及计算系统，结合了GPGPU的时域累加特性和脉动阵列的空域累加特性，直接实现卷积操作，实现一种高效的运算数据传输，从而达到能效的最低。

技术领域

本发明涉及计算领域，更具体地，涉及一种在计算系统中实现卷积运算的方法及计算系统。

背景技术

深度神经网络（DNN）是当前人工智能（AI）应用的基础，例如，语音识别，图像识别，视频处理，自动驾驶，癌症检测，游戏对抗等，而且在部分领域，DNN已经超过了人类的精确性。

图1显示了一个较为简单的神经网络计算过程：输入层的神经元将接收到的信息传递到神经网络中间层（也称为隐藏层），而隐藏层的“权重和”最终会传输到输出层，并最终呈现给用户。通常会把神经元的输入或输出称为“激活”（activation），而把突触称为“权重”（weight）。在本发明中，包括说明书及其附图中，后续会使用activation/weight、激活/权重、输入或输出/权重。本领域技术人员应该理解，这些术语是可以替换使用的。

图2展示了每层的计算：

W_ij是权重，x_i是输入激活，y_j是输出激活，f(.)是一个非线性函数，b则是偏置。

一种常用的DNN形式被称为卷积神经网络（CNN），含有多个卷积（CONV）层。在这样的网络中，每层都会产生输入数据的高层次抽象，称为特征图（fmap或feature map）。一个典型的CNN模型如图3所示，会包含5到1000个CONV层，以及在CONV层之后包含1到3层的全连层。其余包含的非线性层、归一化层、池化层等，因为功耗极小不在本文讨论范围内。

一个2维卷积输入包括输入特征图（input fmap）和卷积核（filter或者称为weight），操作如下：

1.输入特征图是H * W的矩阵，比如28x28的图片像素，卷积核是R * S的矩阵，比如3x3核，如图4所示；

2.使用卷积核和输入特征图左上角对应大小的矩阵对应元素相乘并相加得到输出特征图最左上角的一个元素。对应相乘的操作，如图5所示；

3.滑动卷积核与输入特征图对应大小矩阵继续对应元素相乘并得到输出特征图下一个元素，如图6所示。

当输入特征图具有多个通道（channel），一个具体的实例就是图片从黑白图片变成了彩色图片，于是具有RGB三个通道，则卷积操作变成图7所示，每个通道都有独立的输入特征图和卷积核，不同通道之间最终进行加法合并操作。

当输入特征图具有多个（比如N个）图片，且拥有多个卷积核（比如M个）时，卷积操作则为图8所示。

如此，得到了最终多维卷积操作公式如下：

式中各个参数如下：

O 输出特征图矩阵

I 输入特征图矩阵

W 卷积核矩阵

B 偏置矩阵

N 三维特征图批次大小

M 三维卷积核数目/输出特征图通道数目

C 输入特征图/卷积核通道数目

H/W 输入特征图平面高度/宽度

R/S 卷积核平面高度/宽度

E/F 输出特征图平面高度/宽度

U 切分窗口的步长