[发明专利]基于多视图和多模态特征的自适应动作识别方法

说明书

技术领域

本发明属于计算机视觉和模式识别技术领域，设计了一种基于多视图和多模态特征的自适应动作识别方法，解决利用可见光图像进行动作识别的困难，并提高动作识别的准确性和鲁棒性，可以用于对监控视频中人体目标的动作识别，实现对监控视频的智能化管理。 

背景技术

随着计算机技术和信息技术的发展，对基于视频的人体动作分析的需求越来越迫切，在诸如智能监控、家居安全、智能机器人、运动员辅助训练等系统中，动作分析起到了越来越重要的作用。然而早期的人体动作识别大多是利用普通的RGB图像序列进行动作分析，这样会受到光照、阴影、色度、环境变化等因素的干扰。 

利用深度图像进行人体动作识别是近年来兴起的技术。这主要得益于深度图摄像机的成本降低，特别是微软推出 Kinect设备。与可见光图像不同，深度图像像素值仅与物体空间位置有关，不会受光照、阴影、色度、环境变化等因素的干扰，能够有效地突破可见光图像识别遇到的问题和瓶颈。在一定的空间范围内，深度图像可以用来进行 3D 空间中的动作识别，代替可见光摄像机的双目视觉。因为人体运动分析在高级人机交互、视频会议、安全监控、医疗诊断、基于内容的图像存储和检索等方面，具有潜在的经济价值和广泛的应用前景，因此利用深度图像进行动作分析得到国内外广大机器视觉研究者们的关注。 

在计算机视觉和模式识别相关研究领域中，提高人体动作识别的准确性和稳定性一直是最活跃的研究问题之一，并且能够设计出一种鲁棒的动作描述法也是一个重点和难点。由于利用可见光图像会受到光照、阴影、色度、环境变化等因素的干扰，在识别目标的动作时，基于可见光的方法常常失败，当光线发生较大变化时，例如，夜晚，其性能将急剧下降。因此，近些年利用深度图像进行动作识别成为该领域主流方法，但是由于目标差异较大，同时，即使相同目标的动作也存在差异，这给人体动作识别带来了很大困难。 

发明内容

本发明的目的是解决基于可见光的动作识别方法识别性能不稳定，当光线发生较大变化时，例如，夜晚，其性能将急剧下降的问题，同时，由于观察视角的不同，从某个观察视角，不能全面的捕获目标运动历史变化过程，因此，本发明提出一种基于多视图和多模态特征的自适应动作识别方法，用于对视频监控中目标动作进行识别，以实现对监控视频的智能分析。 

本发明提供的基于多视图和多模态特征的自适应动作识别方法，克服了现有技术的不足并提高了动作识别的准确性，能够很好的应用于现实生活中。该方法具体包含以下步骤： 

第1、视频预处理

预处理包括对输入的深度图像和RGB图像序列滤波去噪，同时，通过Kinect设备的红外装置，可以测出目标与摄像头的近似距离，在该距离值的基础上，增加0.5米获得对应的大阈值，减去1米获得对应的小阈值。当某像素的深度值大于大阈值或小于小阈值时，将该像素标记为0，否则标记为1，这样，能够移除背景对目标的干扰；

第2、目标运动变化过程多视图描述

由于环境光线的变化，将对RGB图像序列有较大的影响，同时，由于观察视角的不同，从某个观察视角，不能全面地捕获目标运动历史变化过程，因此，提出了基于RGB图像和深度图像的多视图目标运动历史变化过程，捕获目标的运动变化，即：

（1）捕获深度视频序列人体变化过程，获得对应的多视图深度运动历史图像；

（2）捕获RGB视频序列人体运动变化过程，获得对应的深度限制RGB图的多视图运动历史图像；

第3、等级金字塔特征提取

在第2步获得的多视图深度运动历史图像和深度限制RGB图的多视图运动历史图像  的基础上，分别寻找图像中非零像素，从而获得对应的人体历史运动的矩形区域，并在该区域内，提取等级金字塔特征描述对应的人体动作，其中人体动作包括：(1) 弯腰鞠躬，(2) 原地起跳且手抬起，(3) 跳远，(4) 单手挥手，(5) 原地跳起手不动，(6)跑步，(7)侧移， (8)单脚走路，(9) 双手挥手，(10) 双脚走路，(11)鼓掌，(12)甩胳膊，(13)踢腿，(14)网球、羽毛球等发球，(15)高尔夫摇杆击球，(16) 拳击，(17) 太极云手。

第4、多视图深度模型构建和多视图RGB模型构建