[发明专利]一种基于深度神经网络的空时特征提取方法

说明书

本发明公开一种基于深度神经网络的行人空时特征提取方法，步骤为：在一个深度网络中利用卷积神经网络(CNN)提取行人的空域特征，利用递归神经网络(RNN)综合提取出的空域特征从而得到行人的时域特征；在网络中设计叠加层融合CNN和RNN提取出的空域和时域特征，得到行人的空时特征表达；分别在行人的全局图片和局部图片进行网络训练得到相应的具有互补性质的全局特征和局部特征，加之进行融合，得到最终的特征表达。本发明具有很好的鲁棒性，能更好的解决与适应遮挡和光线变化等复杂情况；结合了行人的局部和全局特征，挖掘行人的细节特性，使其在下一步的行人识别中发挥更好的性能及效率。

技术领域

本发明属于计算机视觉技术领域，具体为一种基于行人视频的空时特征提取方法，尤其是涉及一种适合于行人重识别中提升识别性能的空时特征提取方法。

背景技术

行人重识别是智能视频监控中的一项关键任务,是近年来计算机视觉领域中一直备受关注的研究热点，适用于安防以及公共场所寻人等技术领域。行人重识别可定义为:在无重叠的视频监控网络中,对于摄像头中给定的某个行人，判断其是否出现在其他摄像头中的过程。它是一种自动的目标识别技术，能在监控网络中快速定位到感兴趣的人体目标，是智能视频监控和人体行为分析等应用中的重要步骤。

特征提取作为行人重识别技术中的一项重要任务，是当中首先要解决的问题。从现有的技术文献检索发现，整体来讲有两种主要的研究思路。思路之一是利用传统的计算机是利用传统的计算机视觉的方法，通过复杂的数学推导和模型设计从而实现特定数据集的特征提取(参见I.Kviatkovsky,A.Adam,and E.Rivlin.Color invariants for personreidentification.IEEE Transactions on Pattern Analysis and MachineIntelligence,35(7):1622–1634,2013.1；R.Zhao,W.Ouyang,and X.Wang.Person re-identification by salience matching.In Proceedings of the IEEE InternationalConference on Computer Vision,pages 2528–2535,2013.1)但是，这类方法受光照变化，遮挡等的严重影响，性能并不好。另一方面，复杂的模型设计对不同的数据集并没有很好地适应性，从而严重影响了这类方法的普适性。思路二是利用深度学习的方法，设计网络自适应的学习行人的特征表达。这种方法近年来得到了很大的应用，尤其是用深度卷积网络(CNN)提取行人的空域特征(参见E.Ahmed,M.Jones,and T.K.Marks.An improved deeplearning architecture for person re-identification.In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,pages 3908–3916,2015.1,2)取得了比较好的效果。然而，这类方法在行人外貌特征变化很大时，提取出的空域特征并不够可靠，此时性能不够理想。这种方法忽略了更为可靠的行人姿态等时域特征。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于深度神经网络的空时特征提取方法，该方法基于卷积神经网络(CNN)和递归神经网络的特性，采用行人空域特征和时域特征融合的深度空时特征提取网络；此外，基于局部特征和全局特征的互补性，提出了局部-全局特征融合的方法得到更具辨识度更有效的特征表达。

本发明是通过以下技术方案实现的：

本发明首先设计了一个网络，其中利用卷积神经网络(CNN)提取行人的空域特征，利用递归神经网络(RNN)综合提取出的空域特征从而得到行人的时域特征。在网络中设计叠加层融合CNN和RNN提取出的空域和时域特征，得到行人的空时特征表达；其次，本发明分别在行人的全局图片和局部图片进行网络训练得到相应的具有互补性质的全局空时特征和局部空时特征，加之进行融合，得到最终的特征表达。