[发明专利]一种卷积神经网络感受野量化的方法及其应用

说明书

本发明公开了一种卷积神经网络感受野量化的方法及其应用，该方法包括如下步骤：（1）在网络初始化的过程中通过前向传播的方式计算各个网络层输出的stride值，其中，Stride值表示原输入尺度与该网络层feature map的尺度的比例大小；（2）计算不同层输出的感受野尺度大小，申请相应大小的内存并设置初始化的值；（3）对不同网络层输出的感受野进行初始化后就可以利用网络中卷积参数通过前向计算对不同层的感受野进行量化。本发明能够以前向传播的方式对不同网络层上神经元的感受野进行量化，量化结果可以在各个层中直接使用，尤其在深度卷积网络如VGG16网络，ResNet网络上进行有效应用。

技术领域

本发明涉及卷积神经网络处理技术领域，尤其涉及一种卷积神经网络感受野量化的方法及其应用。

背景技术

传统的全连接网络每个神经元都对应着整个的输入范围。而不同于全连接网络，卷积网络具有局部性，即每个神经元在原输入对应的是一个局部区域。卷积网络中的神经元在原输入对应的区域大小即为该神经元的感受野。随着网络层数的增大，处在网络越深的layer，其上神经元对应的感受野范围也会越大。并且不同的操作如卷积、池化等会对感受野产生不同的影响。

目前已有文章在对感受野的研究中使用对感受野中的元素贡献值进行量化，其中y^l表示l层的神经元，x表示初始输入的神经元。这种量化方法在计算时需要采用反向回传的计算方式，即需要设置loss函数只对y^l一个神经元作用。然而这种量化方法只能对感受野进行分析，而无法在训练或者测试过程中具体使用已量化的感受野，因为不可能每一次对感受野的就算都对整个网络进行反向计算，这是效率十分低下的。因此，这种感受野的量化方式大大限制了对感受野的应用，无法将其在具体的视觉任务如目标分割以及目标检测中进行应用。

发明内容

针对现有技术中存在的缺陷或不足，本发明可以解决上述问题，且能够以前向传播的方式对不同网络层上神经元的感受野进行量化，量化结果可以在各个层中直接使用，尤其在深度卷积网络如VGG16网络，ResNet网络上进行有效应用。

为了实现上述目的，本发明采取的技术方案为提供一种卷积神经网络感受野量化的方法。

一种卷积神经网络感受野量化的方法，包括如下步骤：

(1)在网络初始化的过程中通过前向传播的方式计算各个网络层输出的stride值，其中，Stride值表示原输入尺度与该网络层feature map的尺度的比例大小；

(2)计算不同层输出的感受野尺度大小，申请相应大小的内存并设置初始化的值，其中，不同类型的网络层对输出感受野尺度的计算方法是不同的；

(3)对不同网络层输出的感受野进行初始化后就可以利用网络中卷积参数通过前向计算对不同层的感受野进行量化。

作为本发明的进一步改进，所述网络层包括Data数据层、卷积层、池化层、Eltwise层以及激活函数中的一种或多种；

其中，所述卷积层和所述池化层输出感受野尺度的计算方法相同的，均通过由如下公式得到：

fout_h＝(k_h-1)×fin_stride_h+fin_h

fout_w＝(k_w-1)×fin_stride_w+fin_w

其中，fout_h表示输出感受野的高度，fout_w表示输出感受野宽度，fin_h表示输入感受野的高度，fin_w表示所述卷积层和所述池化层的输入感受野的宽度，k_h表示该卷积核(池化)的高度，k_w表示该卷积核(池化)的宽度，fin_stride_h和fin_stride_w分别表示所述卷积层和所述池化层输入感受野的高度和宽度，且计算出尺度大小后申请相应大小的空间初始值全部设置为0；