[发明专利]一种融合ReLU激活函数与最大值池化的向量化实现方法

权利要求书

1.一种融合ReLU激活函数与最大值池化的向量化实现方法，其特征在于，步骤为：

S1：计算矩阵A的ReLU激活函数值；

S2：计算步骤S1中ReLU激活函数处理后的矩阵的最大值池化；

S3：重复步骤S1和步骤S2直至遍历完矩阵A的所有子块，最终完成整个矩阵A的ReLU激活函数处理和最大值池化操作。

2.根据权利要求1所述的融合ReLU激活函数与最大值池化的向量化实现方法，其特征在于，所述步骤S1的具体步骤为：

S1.1设卷积操作后需要进行激活函数处理的矩阵为A(M,N)，ReLU激活函数为f(x)＝max(0，x)，向量处理单元VPE的个数为p，取N为p、k_x、k_y的整数倍，最大值池化窗口为k_x×k_y；

S1.2使用向量VLOAD指令取矩阵A的第一行元素；

S1.3使用向量比较大小指令VFCMPGD，比较向量寄存器的大小，比较结果的逻辑值放入条件寄存器中；

S1.4使用条件向量赋值指令VMOV，取出步骤1.3中大于0的值放入向量寄存器中；

S1.5得出ReLU激活函数处理后的结果；

S1.6根据最大值池化窗口k，重复步骤1.2至1.5k次得出A矩阵k行元素的Relu激活函数操作，结果保存在向量寄存器中，直接作为步骤S2中最大值池化的输入值。

3.根据权利要求2所述的融合ReLU激活函数与最大值池化的向量化实现方法，其特征在于，所述步骤S2的具体步骤为：

S2.1取步骤S1.6中计算得出的k行元素，直接作为本次计算的输入；

S2.2将第1行元素与第2行元素作比较，比较结果的逻辑值放入条件寄存器中；

S2.3使用条件向量赋值指令VMOV；

S2.4通过比较k-1次，得出k行元素对应的列最大值；

S2.5配置混洗模式，比较得出步骤S2.4中对应的k列元素的最大值；

S2.6最终同时得出p/k个池化窗口尺寸为k_x×k_y最大值池化结果。

4.根据权利要求1或2或3所述的融合ReLU激活函数与最大值池化的向量化实现方法，其特征在于，所述步骤S2.5中的一个最大值池化结果c_0,0的计算公式为：

$c_{0,0}=\underset{0\≤i\≤k_x-1}{max}\left(\underset{0\≤j\≤k_y-1}{max}\right(a_{i,j}\left)\right)$

其中c_0,0为最大值池化结果矩阵中的第一个元素，k_x、k_y为池化窗口的尺寸，在卷积神经网络中，池化窗口为方阵，即k_x＝k_y＝k，a_i,j为需要进行最大值池化的矩阵A中的元素。

5.根据权利要求1或2或3所述的融合ReLU激活函数与最大值池化的向量化实现方法，其特征在于，所述上述步骤中定义池化窗口的大小为sizeX、sizeY，两个相邻池化窗口的水平位移或竖直位移为stride，最大值池化操作中池化窗口不重叠，即sizeX＝sizeY＝stride。