[发明专利]基于深度卷积神经网络的奶牛个体识别方法

权利要求书

1.基于深度卷积神经网络的奶牛个体识别方法，其特征在于：是一种采用深度学习当中卷积神经网络提取特征，结合对奶牛纹理特征实现对奶牛个体有效识别的方法，步骤如下：

第一步，奶牛数据的采集：

使用摄像设备，分别采集20头行走奶牛的奶牛视频，作为实验数据，使用光流法或帧间差分法对输入的奶牛视频数据进行奶牛躯干图像提取，形成图像数据集，每一头奶牛都有自身的图像数据集，对得到的所有图像数据集进行随机分类，形成训练集和测试集，至此完成奶牛数据的采集；

第二步，对训练集和测试集的预处理：

通过caffe框架，使用事先已经写好的生成leveldb数据库的脚本文件，分别对上述第一步得到的训练集和测试集进行处理，生成对卷积神经网络进行训练所需的数据格式，再对已经处理好的训练集和测试集分别做均值计算，形成训练集均值文件和测试集均值文件，至此完成对训练集和测试集的预处理；

第三步，设计卷积神经网络：

所设计的卷积神经网络由输入层、第一层～第七层和输出层构成，各层的结构如下：

输入层是数据的入口，在输入层需要选择每一次训练数据的大小，每一次训练数据的大小是根据GPU的计算能力以及显存的大小而设定，此外，还需要对leveldb数据库的路径和均值文件路径进行设置，设置规则根据生成文件的路径设计即可；

第一层包含一个真正的卷积层和一个采样层，该卷积层的卷积核设计为11×11，步长为默认值2，该卷积核的个数为96，扩充边缘默认为0，不扩充，即pad设为0，使用高斯算法进行权值初始化，每个神经元与输入特征图像指定一个11×11邻域进行卷积，特征图的计算公式如公式(1)和(2)：

W₁＝(W₀+2×pad-kenerl_size)/s+1 (1)

H₁＝(H₀+2×pad-kenerl_size)/s+1 (2)

其中W₀和H₀为上一层输出特征图的大小，W₁和H₁为通过当前卷积层所求出的特征图的大小，pad为对边缘进行扩充的值，kenerl_size为卷积和大小，s为步长默认值，输入特征图的大小为W₀×H₀＝256×256，输入的特征图在经过卷积核卷积后大小变为(256-11)/2+1＝123,共包含96个不同的特征图，因此经过卷积后得到的特征图映射的大小为123×123×96，次抽样层是对由上一步卷积结果用3×3的邻域和跳跃间隔为2进行最大值进行下采样得到，计算公式如公式(1)和公式(2)所示，经过采样后特征图的大小变为61×61，由于次抽样不改变特征图的数目，即特征图映射的大小为61×61×96，该神经网络支持单通道和三通道输入，对于三通道图像，该卷积层的卷积核也是三通道，卷积核分别去卷积每一个通道，在进行卷积运算后，需要对特征图映射的局部区域进行归一化，达到“侧抑制”的效果，即对每一个输入值都除以J，如计算公式(3)所示：

其中α、β为默认值，α＝0.0001、β＝0.75,n为局部尺寸的大小，设置为5，x_d为输入值，d为输入值的序数，求和将在当前值处于中间位置的局部区域内进行，最后再经过ReLu激活函数进行激活处理，如计算公式(4)所示：

其中u为输入数据；

第二层同样包含一个真正的卷积层和一个采样层，该层的卷积核大小为11，步长为默认值1，卷积核个数为128，扩充边缘默认为2，需要进行扩充，每个神经元与输入特征图像指定的一个11×11邻域进行卷积，由公式(1)和公式(2)计算可得特征图的大小为(61+2×2-11)/1+1＝55，特征图映射的大小为55×55×128，次抽样层的卷积核大小为3，步长为2，是对由上一步卷积结果用3×3的邻域和跳跃间隔为2进行最大值进行下采样得到，计算公式如公式(1)和公式(2)所示，采样后的特征图的大小为(55-3)/2＝27，由于次抽样不改变特征图的数目，通过采样后的特征图映射图的大小为27×27×128，在进行卷积运算后，需要对特征图映射的局部区域进行归一化，达到“侧抑制”的效果,即对每一个输入值都除以J，如计算公式(3)所示，最后再经过ReLu激活函数的处理，如上述计算公式(4)所示；

第三层只包含一个真正的卷积层，这层没有进行采样操作，该层的卷积核大小也为11，步长为默认值1，卷积核个数为256；扩充边缘默认为2，需要进行扩充，每个神经元与输入特征图像指定的一个11×11邻域进行卷积，由公式(1)和公式(2)计算可得特征图的大小变为(27-11+2×2)/1+1＝21，因此特征图映射的大小为21×21×256，即包含256个不同的特征图，该层没有对特征图进行采样，直接通过ReLu激活函数进行处理，如上述计算公式(4)所示；

第四层只包含一个真正的卷积层，这层没有进行采样操作，邻域进行卷积，该层的卷积核大小也为11，步长为默认值1，卷积核个数为256；扩充边缘默认为2，需要进行扩充，每个神经元与输入特征图像指定的一个11×11邻域进行卷积，特征图的大小为(21-11+4)/1+1＝15，因此特征图映射的大小为15×15×256，即有256个不同的特征图，该层没有对特征图进行采样，直接通过ReLu激活函数进行处理，如上述计算公式(4)所示；

第五层包含一个真正的卷积层和一个采样层，邻域进行卷积，该层的卷积核大小为11，步长为默认值1，卷积核个数为256，扩充边缘默认为2，需要进行扩充，每个神经元与输入特征图像指定的一个11×11邻域进行卷积，由公式(1)和公式(2)计算出特征图的大小为(15-11+4)/1+1＝9，特征图的大小为9×9，特征图映射的大小为9×9×256，包含256个不同的特征图，次抽样是对由上一步卷积结果用3×3的邻域和跳跃间隔为1进行最大值进行下采样得到，同样地由公式(1)和公式(2)计算得到特征图的大小为(9-3)/1+1＝7，即特征图的大小为7×7，特征图映射的大小为7×7×256，次抽样不改变特征图的数目；

第六层是全连接层，该层设置了4096个神经元，神经元激活函数为ReLu激活函数，输入到第六层全连接层的特征图映射的大小为7×7×256，输出神经元个数为4096；

第七层是全连接层，神经元个数与第六层一样设定为4096个神经元，神经元激活函数为ReLu激活函数，该层的输入是第六层全连接层的输出，即输入神经元为4096个，输出神经元个数为4096；

输出层是数据的出口，输出层神经元的个数为待识别奶牛个体的头数，输出层神经元由径向基函数单元即RBF组成，RBF的输出y_i的计算公式为(5)：

公式(5)中，y_i为输出的类别，x_j为输入数据，w_ij为上一层i节点与输出层j节点之间的权值，实验数据为20头奶牛，故j＝1,2,…20；

第四步，训练卷积神经网络：

在上述第三步设计好的卷积神经网络结构中，用上述第二步生成的对卷积神经网络进行训练所需的数据格式，对卷积神经网络进行训练，训练改进后的卷积神经网络的学习参数，训练具体步骤如下:

(4.1)使用高斯分布初始化网络权值，偏置值设定为常量；

(4.2)从第一步的训练集中选择一个小的训练样本，输入到上述卷积神经网络中；

(4.3)训练集通过卷积神经网络进行前向传播，层层计算得到卷积神经网络的输出；

(4.4)计算卷积神经网络的实际输出与预测输出之间的误差值，当误差值小于一个预先设定的阈值或者迭代次数达到预定阈值，停止卷积神经网络训练，否则重新回到上述(4.2)步，继续进行卷积神经网络训练；

(4.5)按照极小化方式将误差进行反向传播，逐步更新卷积神经网络的权值；

(4.6)将训练好的权重参数矩阵和偏移量赋值给该卷积神经网络的各层，则具有特征提取和分类功能；

由此完成训练卷积神经网络，利用上述卷积神经网络中的卷积层和次抽样层提取奶牛的纹理特征；

第五步，生成识别模型：

依据上述第四步提取到的奶牛的纹理特征，使用softmax作为识别分类器，用多分类公式(6)，生成识别模型，

其中，为属于不同奶牛个体的概率，m为奶牛个体序数,n为测试图片序数，K为实验数据奶牛的头数，W＝[W₁,W₂,W_3,…,W_K]为输出层神经元的权值，a＝[a₁,a_2,a₃···a₂₀]为分类器的参数，exp为指数e,x⁽ⁿ⁾为输入数据；

第六步，利用识别模型识别奶牛个体：

利用上述第五步生成好的识别模型，使用测试集进行测试，以识别每一头奶牛的个体，测试步骤如下:

(6.1)对卷积神经网络进行权值初始化即训练；

(6.2)在测试集中选择一个小测试样本，输入到卷积神经网络中；

(6.3)测试数据通过卷积神经网络进行前向传播，层层计算得到卷积神经网络的输出；

(6.4)把卷积神经网络的输出与(6.2)步中的测试样本的标签进行比较，判断输出是否正确，统计分类结果；

(6.5)重新回到上述(6.2)步，直到完成所有奶牛测试样本中个体的判断；

由此完成实现对奶牛个体的有效识别。