[发明专利]一种基于光电计算阵列的深度残差网络的加速方法

权利要求书

1.一种基于光电计算阵列的深度残差网络的加速方法，其特征在于，所述光电计算阵列包括由多个发光单元周期排列组成的发光阵列和由多个计算单元周期排列组成的计算阵列；所述加速方法包括如下步骤：

发光阵列将深度残差网络的权重通过光输入的方法输入到计算阵列中，作为光输入量，并保存在计算阵列中；将图像数据量化为单比特的数据后输入到计算阵列中，作为电输入量；利用计算阵列分别对深度残差网络的卷积层、全连接层和残差学习单元中的运算进行计算，计算完成后输出数字信号，再对该数字信号进行移位累加操作，得到最终结果；

所述计算单元包括载流子控制区、耦合区、以及光生载流子收集区和读出区；所述载流子控制区用于控制并调制光生载流子收集区和读出区内的载流子；所述光生载流子收集区和读出区中的收集区用于吸收发光单元发射的光子并收集产生的光生载流子；所述载流子控制区或者光生载流子收集区和读出区中的读出区与电信号连接，读出区用于输出被所述光生载流子和所述电信号作用后的载流子；所述耦合区连接收集区和读出区；

利用计算阵列对深度残差网络的卷积层中的卷积运算进行计算，每一层卷积层的计算过程如下：

（1）对于当前卷积层的m个卷积核，将每个卷积核按列展开然后拼接为一列向量，如是m个卷积核对应的m列向量则拼接为一个矩阵，对于输入的n个通道的图像特征图，将n个矩阵上下拼接为一个新的大矩阵，采用与该大矩阵尺寸相同的计算阵列，计算阵列的光输入量为大矩阵中对应的值；

（2）对于输入的n个图像特征图进行批标准化操作；

（3）当前卷积层的输入为n个通道的图像特征图，对于其中的每一个图像特征图进行如下操作获得n'个矩阵：选取和卷积核相同大小的区域，按照规定的步幅，在新的特征图上进行移动p次；每次移动，都将特征图中所对应的值取出，按照纵向顺序展开并拼接为一行向量；移动完成后，便得到了p行向量，将其按顺序上下拼接为一个矩阵；

（4）将所述n'个矩阵左右拼接，得到最终的电输入矩阵；按照从上到下的顺序依次将电输入矩阵的每一行输入计算阵列，行向量的每一列元素对应计算阵列的每一行；

（5）行向量按照比特位输入到计算阵列中，即每一次输入一个比特；当计算阵列计算完成后，每一列的结果都经过模数转换器转换得到数字信号，再将数字信号分别按照对应位进行移位，然后累加得到结果，结果的形式为长度为m的向量；该结果即电输入矩阵的一行向量进入计算阵列完成计算的结果，对应着m个卷积核对n个图像特征图中相同区域进行一次卷积运算然后求和的结果；

（6）按照步骤（4）和（5）的方法，电输入矩阵的p行向量按顺序完成计算后得到p个向量形式的结果，将这p行向量上下拼接为一个矩阵；把该矩阵的每一列按照从补零后的图像特征图中取值的顺序拼接成一个特征图，即对应着每一个卷积核卷积运算的结果，共得到m个特征图；

（7）对所述m个特征图添加偏置、用激活函数获得非线性特征并进行池化操作，完成后即得到当前层卷积层的最终结果；

利用计算阵列对深度残差网络的全连接层中的矩阵乘法运算进行计算，每一层全连接层的计算过程如下：

（8）假设上层神经元个数为m个，本层神经元个数为n个，则共有m*n个权重，将这m*n个权重按顺序排列成一个矩阵，采用与该矩阵尺寸相同的计算阵列，计算阵列的光输入量为矩阵中对应的值；

（9）将上层输出的m个值作为计算阵列的电输入量；

（10）电输入量按照比特位输入进光电计算阵列中，即每一次输入一个比特；当计算阵列计算完成后，每一列的结果都经过模数转换器转换得到数字信号，再将数字信号分别按照对应位进行移位，然后累加得到结果，结果的形式为长度为n的向量；

（11）对所述长度为n的向量添加偏置并进行激活操作，完成后即得到当前层全连接层的最终结果；

利用计算阵列对深度残差网络的残差学习单元的运算进行计算，计算过程如下：

（12）每一个残差学习单元包括两层，是由两个规模大小相同、卷积核大小和个数也相同的卷积层上下连接而成；其中第一层的输入的值直接与第二层的输出的值相加，随后通过激活函数激活，作为残差学习单元的输出；

（13）上述若干个残差学习单元上下连接，共同组成深度残差网络的主体结构；如果上一个残差学习单元的输出特征图大小与下一个残差学习单元中第二层卷积层的输出特征图大小不相同，即同一个残差学习单元中第一层的输入特征图大小与第二层的输出特征图大小不相同，此时通过补零或映射方法使两层的特征图大小变得相同。