[发明专利]一种基于深度神经网络的人体姿态识别方法

说明书

本发明公开了一种基于深度神经网络的人体姿态识别方法，该方法包括：转发服务器从网络视频录像机上接收实时视频流，从实时视频流中抓取视频帧，发送给识别服务器；识别服务器使用深度卷积姿态神经网络模型提取关节点信息特征，合成人体骨架的结构信息，形成特征向量；通过多分类支持向量机进行分类识别，将识别结果返回转发服务器；转发服务器将识别结果与视频帧发送至客户端显示，实现实时的人体姿态识别。本方法可提高智能视频监控系统综合性能，改善用户的实时体验，更实用、可行性更高，有广泛的应用价值和经济效益。

技术领域

本发明涉及人体姿态识别，具体涉及一种基于深度神经网络的人体姿态识别方法，属于智能视频监控和计算机视觉领域。

背景技术

人体姿态识别是指对图像中的人体进行自动分析处理，对人体姿势信息按照预先设计的分类标注。姿态识别是行为识别中的一个基本问题，可靠而准确地识别人体姿态可以用于人体行为分析、人员工作状态或学习状态的判别，从而为各行各业的智能化管理自动提供信息。由于图像中人的衣着，姿态，背景等的多样性以及存在一些自我遮挡和其他人或物体遮挡的情况，准确地预测出图像中的人体姿态非常具有挑战性。目前基于普通光学图像的人体姿态识别算法主要利用人体的表观特征，如人体轮廓特征或图像中人体与其他物体之间的上下文关系，这些特征都与颜色有关，易受到光照等外界条件的影响，当不能够提取到很好的特征，易出现识别准确率低下等问题。

山东大学提出一种基于关节点信息的人体行为识别新方法(机器人，2014.3)，使用Kinect采集的关节点数据构造人体结构向量，用人体结构向量间的向量角和向量模比值提取行为来表示特征量，最后使用动态时间规整(DTW)算法计算测试行为模板与参考行为模板之间的相似度。该方法主要目的是识别动态行为，虽然也利用了关节点信息构造人体结构特征，但是利用Kinect专用设备获取人体关节点信息，并且构造出的人体结构特征信息处理方法也跟本专利不同。电子科技大学提出一种基于深度卷积神经网络的人体姿势识别方法(CN105069413A)，将姿势估计阐述为分类问题，设计了针对姿势估计的神经网络ILPN来进行关节定位，通过查找坐标映射表，将统一尺度下的人体姿势映射回原图像尺度下从而估计出RGB图像中人体姿势。广东省智能制造研究所提出基于卷积神经网络与支持向量机的人体行为识别方法(CN108052896A)，将RGB图像输入至VGG神经网络模型进行特征提取，形成一组卷积特征图；将特征图作为双分支深度卷积神经网络模型的输入，获得关节点和关节关联信息，然后采用二分图匹配算法逐步进行局部寻优，最终获得最佳关节匹配；对骨骼序列数据进行归一化处理，并通过组合多个支持向量机分类器来实现多分类器的构造。以上两种方法虽然利用了深度神经网络，但网络模型提取关节点信息的过程和方法都与本专利不同；同时这些方法都没有涉及如何在网络摄像机中实时获取视频帧，并进行实时分类识别的问题。本发明利用深度卷积姿态神经网络从实时视频帧中提取人体关节点信息，实时分类识别人体姿态，还提出了从网络摄像机视频流实时在线地获取图像帧，返回识别结果用于智能视频监测系统的方法，可以应用于智能视频监控系统中，可提高系统综合性能，改善用户的实时体验，更实用、可行性更高，有广泛的应用价值和经济效益。

发明内容

本发明公开了一种面向智能视频监控的基于深度神经网络的人体姿态识别方法，该方法包括：1)转发服务器从网络视频录像机上接收实时视频流，抓图子线程从实时视频流中抓取视频帧，发送给识别服务器；2)识别服务器使用深度卷积姿态神经网络模型提取关节点信息特征，合成人体骨架的结构信息，形成特征向量；3)通过多分类支持向量机进行分类识别，将识别结果返回转发服务器；4)转发服务器将识别结果与视频帧一并发送至客户端显示，实现实时的智能视频监控系统中的人体姿态识别。

具体来说，本发明的方法包括以下内容：

A.视频转发服务器获取实时视频流，将视频帧送给转发模块和抓图模块，具体实施步骤如下：

A1.视频转发服务器(简称转发服务器)建立面向客户端和网络视频录像机(简称NVR)的控制端口和数据端口；