[发明专利]基于深度神经网络和图卷积网络的视频行人识别方法

说明书

本发明属于计算机视觉的技术领域，具体涉及基于深度神经网络和图卷积网络的视频行人识别方法，引入了一种图卷积网络的模型来捕获多标签图像识别的标签相关性，这种模型将对象分类器视为要学习的一组独立参数向量，通过基于图卷积网络的映射函数从先前的标签表示中学习相互依赖的对象分类器，然后，将生成的分类器应用于另一个子网生成的图像表示，以实现端到端训练。本发明能利用视频的时序特征，提高了行人属性识别的准确率。

技术领域

本发明属于计算机视觉的技术领域，具体涉及基于深度神经网络和图卷积网络的视频行人识别方法。

背景技术

随着世界范围内对社会公共安全需求的日益增长，成千上万的监控摄像头被安装在各式各样的公众聚集场所，如公园、体育场馆、大型广场、学校、医院、商业街、住宅小区等，并由此产生了海量的监控图像和视频数据。同时，硬件存储能力的提升以及互联网云计算、云存储的崛起也加速了视频技术的发展和更新。

如何自动地对这些海量图像、视频数据进行有效的管理、解释和利用，实现对数据语义的理解，已引起众多科研工作者和厂商的广泛关注，视频语义挖掘技术应运而生。视频语义挖掘，就是从海量视频中探索蕴含的高层结构，提取潜在的、引起人们兴趣的、相互关联的、可以理解的语义信息和模式知识的过程。

行人属性是人类可以直接予以描述的行人特征，例如“性别”、“发型”、“穿衣风格”和“携带物”等等，可以同时被机器和人所理解。行人属性作为视觉属性，因其在智能监控系统中得到广泛应用而引起了极大的关注。该算法可用于检索行人并协助完成其他计算机视觉任务，例如行人检测，行人重新识别等。

现有的行人属性分析算法大致非为两大类，一类是基于传统方法，一类是基于深度学习方法。对于传统机器学习方法，起初的行人属性识别算法依赖手工设计的特征，例如方向梯度直方图特征，结合数据增广技术在MIT公共数据集上识别人的性别属性。或使用颜色和纹理特征，并结合支持向量机和马尔科夫随机场等对属性进行识别等等。近年来，深度学习的兴起使得研究者们大都采用深度神经网络构建行人属性识别模型，基于神经网络学习到的特征显著提升了属性识别的能力。

目前大多数的行人属性识别方法都是基于静态图像的。他们在每个实例仅包含一张图像的数据集上进行训练和评估。但是，在实际监控中，我们获得的是连续的图像序列。对于特定属性，行人的单个镜头不一定是最具代表性的。

在过去的十几年中，很多人在行人属性识别领域已经做出了很多努力。最近，由于深度学习的快速发展，许多人开始利用基于卷积神经网络(CNN)的方法，例如联合训练的整体CNN模型。尽管基于深度学习模型的方法表现出良好的性能，目前大多数的行人属性识别方法都是基于静态图像的。但是，在实际监控中，获得的是连续的图像序列。连续的数据可以提供强有力的时间线索，且在视频数据在处理某些特殊情况和质量问题方面也显示出明显的优势。而且目前的行人属性识别还没有去挖掘属性标签间的依赖关系，捕获标签依赖关系是多标签图像识别的关键问题之一。

发明内容

本发明的目的在于：针对现有技术的不足，提供基于深度神经网络和图卷积网络的视频行人识别方法，本发明能利用视频的时序特征，提高了行人属性识别的准确率。

为了实现上述目的，本发明采用如下技术方案：

基于深度神经网络和图卷积网络的视频行人识别方法，包括如下步骤：

步骤一、输入行人图像序列；

步骤二、选择ResNet-50作为骨干模型，提取帧级空间特征；

步骤三、识别是否为运动姿态属性或ID属性，若是运动姿态属性，则进行步骤四；若是ID属性，则进行步骤五；