[发明专利]一种基于深度神经网络的空时特征提取方法

权利要求书

1.一种基于深度神经网络的空时特征提取方法，其特征在于包括以下步骤：

第一步：设计一个三层卷积神经网络(CNN)，每一层均包含一个卷积层，一个激活层，一个池化层；

第二步：对行人视频中的每一张图片s(t)，均经过第一步中的卷积神经网络，得到特征输出即空域特征f(t)；

第三步：对一个行人序列中的图片输出的空域特征f(t)进行平均，得到平均特征向量x_c；

第四步：利用递归神经网络(RNN)综合卷积神经网络(CNN)提取出的空域特征f(t)，得到相应的时域特征o(t)；

第五步：对一个行人序列中的所有图片进行第四步中的操作，得到相应的时域特征，对输出的时域特征o(t)进行平均，得到平均特征向量x_R；

第六步：将卷积神经网络提取出的平均行人空域特征x_c和递归神经网络提取出的平均时域特征x_R进行融合，得到行人的空时特征表达x_F；其中特征向量采用1:1的线性叠加，具体为：

x_F＝x_C+x_R；

第七步：将行人的空时特征表达x_F送入对比损失函数和交叉熵损失函数中算出损失，从而对整个网络进行优化迭代，得到最终的特征提取模型；

第八步：将行人图像分为上下两部分，分别经过步骤一到步骤七所构成的网络的训练和特征提取步骤，利用最终训练出的特征提取模型提取出局部空时特征；训练行人的全局图片，利用特征提取模型提取出全局空时特征；将互补性的全局空时特征和局部空时特征融合，得到最终更具区分度的特征表达。

2.根据权利要求1所述的基于深度神经网络的空时特征提取方法，其特征在于：第一步中，所述三层卷积神经网络中，每一个卷积层卷积核大小均为5x5，激活层为双曲正切激活层，池化层为最大值池化。

3.根据权利要求1所述的基于深度神经网络的空时特征提取方法，其特征在于：第三步中，所述对一个行人序列中的图片输出的空域特征f(t)进行平均，是通过时域池化层实现，得到维度为128的平均特征向量x_c，具体公式为：

T为一个行人图片序列的长度。

4.根据权利要求1-3任一项所述的基于深度神经网络的空时特征提取方法，其特征在于：第七步中，所述用对比损失函数和交叉熵损失对网络进行优化迭代，两种损失的权重比为1:1。

5.根据权利要求1-3任一项所述的基于深度神经网络的空时特征提取方法，其特征在于：第八步中，所述将互补性的全局空时特征和局部空时特征融合，其中融合权重从训练集中学得最优参数。