[发明专利]一种基于TPP-TCCNN的海洋鱼类识别方法

权利要求书

1.一种基于TPP-TCCNN的海洋鱼类识别方法，其特征在于，包括下列步骤：

采集包含多种鱼类的原始视频，将所述原始视频划分为训练集以及测试集，并对所述训练集的鱼类视频信息进行预处理；

对预处理后的鱼类视频信息进行特征提取，获取光流图像；

建立双通道卷积神经网络，以光流图像以及RGB图像输入带有金字塔池化层的双通道卷积神经网络中进行训练，获得输出特征，所述RGB图像中所包含的鱼类信息与所述原始视频中的一致；

通过softmax分类模型对所述输出特征进行分类训练；

将测试集中的鱼类视频信息输入到最终的softmax分类模型中，得到鱼类分类结果；

所述对预处理后的鱼类视频信息进行特征提取，获取光流图像，包括：

建立约束方程：

I(x+dx,y+dy,t+dt)＝I(x,y,t)

式中，I代表每个帧画面中的灰度值信息，x、y、t代表光流方向；

将所述约束方程根据泰勒定理展开：

式中表示光流向量x方向上的分量，表示光流向量y方向上的分量,分别代表x,y,t三个方向上的微分；

令可得到下式；

从预处理后的鱼类视频信息中随机选取帧画面，通过计算图像像素点变化从而得到相应帧画面中的光流信息：

将光流图像以及RGB图像输入带有金字塔池化层的双通道卷积神经网络中进行训练，获得输出特征，其步骤包括：

将所述光流图像或RGB图像之一输入带有金字塔池化层的双通道卷积神经网络中的第一层进行7×7×96卷积，获得第一特征图；

将所述第一特征图输入双通道卷积神经网络中的最大池化层中进行2×2采样，获得第二特征图；

将所述第二特征图输入双通道卷积神经网络中的第一层进行5×5×384卷积操作，获得第三特征图；

将所述第三特征图输入双通道卷积神经网络中的最大池化层中进行2×2采样，获得第四特征图；

将所述第四特征图输入双通道卷积神经网络中进行两次3×3×512卷积操作，获得第五特征图；

将所述第五特征图输入双通道卷积神经网络中进行3×3×384卷积操作，获得第六特征图；

将所述第六特征图依次输入双通道卷积神经网络中的最大池化层、金字塔池化层，获得第七特征图；

将所述第七特征图输入两个全连接层后获得4096维特征向量，所述特征向量即为输出特征。

2.根据权利要求1所述的一种基于TPP-TCCNN的海洋鱼类识别方法，其特征在于，将所述第六特征图输入双通道卷积神经网络中的最大池化层后，输出k*M维特征向量，对所述k*M维特征向量采用汇聚函数进行聚合及输出，获得第七特征图。

3.根据权利要求2所述的一种基于TPP-TCCNN的海洋鱼类识别方法，其特征在于，获得第一特征图、第六特征图之后，还包括：对所述第一特征图、第六特征图进行批量归一化以及修正线性激活。

4.根据权利要求1-3任一项所述的一种基于TPP-TCCNN的海洋鱼类识别方法，其特征在于，所述softmax分类模型具有两个输入，其中一个输入包括所述光流图像的输出特征，另一个输入包括所述RGB图像的输出特征。

5.根据权利要求4所述的一种基于TPP-TCCNN的海洋鱼类识别方法，其特征在于，在所述softmax分类模型中通过下式实现图像分类：

其中exp(x)是以自然常数e为底的指数函数，在输出层中有n个神经元，a_m为输入变量，第m个神经元的输出是s_m。