[发明专利]基于多视图和多模态特征的自适应动作识别方法

摘要

一种基于多视图和多模态特征的自适应动作识别方法。具体包括：视频预处理；目标运动变化过程多视图描述；等级金字塔特征提取；多视图深度和RGB模型构建；多视图模型选择，推断及多模态特征结果融合。本发明首先针对可见光图像动作识别常遇到的光照变化和阴影等困难，提出基于多视图和多模态特征进行动作识别；其次本发明针对单一视图的局限性，提出了目标运动变化过程多视图描述，它能够比较全面的捕获深度和RGB图像序列中目标的变化过程；再次本发明公开的等级金字塔特征既有空间分辨能力也有细节描述能力，具有非常好的鲁棒性和区分性；最后，根据环境光线的变化情况，自适应的进行多模态特征的融合，进一步提高动作识别方法的性能和稳定性。

主权项

一种基于多视图和多模态特征的自适应动作识别方法，该方法具体包含以下步骤：第1、视频预处理预处理包括对输入的深度图像和RGB图像序列滤波去噪，同时，通过Kinect设备的红外装置，测出目标与摄像头的近似距离，在该距离值的基础上，增加0.5米获得对应的大阈值，减去1米获得对应的小阈值；当某像素的深度值大于大阈值或小于小阈值时，将该像素标记为0，否则标记为1，这样，能够移除背景对目标的干扰；第2、目标运动变化过程多视图描述由于环境光线的变化，将对RGB图像序列有较大的影响，同时，由于观察视角的不同，从某个观察视角，不能全面地捕获目标运动历史变化过程，因此，提出了基于RGB图像和深度图像的多视图目标运动历史变化过程，捕获目标的运动变化，即：（1）捕获深度视频序列人体变化过程，获得对应的多视图深度运动历史图像；（2）捕获RGB视频序列人体运动变化过程，获得对应的深度限制RGB图的多视图运动历史图像；第3、等级金字塔特征提取在第2步获得的多视图深度运动历史图像和深度限制RGB图的多视图运动历史图像  的基础上，分别寻找图像中非零像素，从而获得对应的人体历史运动的矩形区域，并在该区域内，提取等级金字塔特征描述对应的人体动作，其中人体动作包括：(1) 弯腰鞠躬，(2) 原地起跳且手抬起，(3) 跳远，(4) 单手挥手，(5) 原地跳起手不动，(6)跑步，(7)侧移， (8)单脚走路，(9) 双手挥手，(10) 双脚走路，(11)鼓掌，(12)甩胳膊，(13)踢腿，(14)网球、羽毛球等发球，(15)高尔夫摇杆击球，(16) 拳击，(17) 太极云手；第4、多视图深度模型构建和多视图RGB模型构建网络中公开的动作数据集DHA中每个样本都包括RGB和深度图像序列，同时，该数据集被划分为训练数据集和测试数据集，按照第3步的方法，为DHA训练数据集中的每个样本分别提取深度图像序列和RGB图像序列上的多视图的等级金字塔特征，并将每个样本的不同视图的特征串联，然后，在训练数据集上，分别训练基于深度的多视图等级金字塔特征和基于RGB的多视图等级金字塔特征的支持向量机模型；第5、多视图模型选择，模型推断以及多模态特征结果融合在公共动作数据集DHA中测试数据集上，按照第3步的方法，提取深度和RGB运动历史图像上的多视图的等级金字塔特征，同时，计算RGB矩形区域内平均亮度，根据光线的亮暗情况，自适应的选择已经训练好的模型；当环境光线较暗时，RGB图像序列非常模糊，无法进行动作识别，因此，采用基于深度的多视图等级金字塔特征的支持向量机模型，反之，则采用基于深度和RGB融合的多视图，多模态特征的支持向量机模型，即将测试样本中提取基于深度的多视图特征和基于RGB的多视图特征分别输入到模型中，模型将自动地对样本的动作类别进行判断，并给出对应的属于某个动作类别的概率，最后，融合多模态特征的结果。