[发明专利]基于深度图像序列的对象运动模式识别方法和设备

说明书

技术领域

本发明涉及一种基于深度图像序列的对象运动模式识别方法和基于深度图像序列的对象运动模式识别设备。

背景技术

随着计算机视觉、图像处理、人机交互技术的发展，对于基于视觉的人机交互系统，诸如交互式投影仪、交互式显示器、交互式电子白板、体感游戏机等等的技术需求也越来越迫切，在这些应用领域中，经常不仅仅需要对图像中对象的识别，而且需要对对象运动模式进行识别。对此，相关技术领域已经取得了一定进展。

专利文件1(US 7274800 B2)提出了利用立体相机产生的深度视差图并基于该深度视差图进行手势识别的技术。其主要针对人体上肢形态建立统计概论模型，并用其跟踪人体的上肢运动，并能推断出上肢、躯干、手的运动方向及位置。而后，将这些运动信息输入隐马尔科夫(HMM)模型分类器，以用于手势识别。该技术主要基于统计模型推断来进行运动识别，难以适应复杂场景和模型失效的情况。而且，其速度不快。

专利文件2(US 20110150271 A1)提出了一种基于深度图像的运动检测和跟踪方法。其首先产生一幅代表背景的参考深度图像，并将当前输入的深度图与之相比，以获得前景运动图像，从而完成运动对象检测。背景参考深度图像会依照一定时间范围内深度图的背景点均值进行更新；而前景运动图像则会聚类成几个运动物体，并与上一帧的物体进行对应，从而完成运动对象跟踪。该方法基于深度图像的相邻帧差分进行运动检测；此外，该方法用于运动对象检测，而无法实现运动模式的识别。

非专利文件1(P.Suryanarayan，A.Subramanian，and D.Mandalapu，Dynamic Hand Pose Recognition using Depth Data，International conference of Pattern Recognition，pp.3105-3108，23-26Aug.2010.)提出了一种对尺度及旋转不变手势姿态的识别方法。其主要是基于对环绕整个手的柱状区域进行3维划分，而后计算每个子区域的前景比例，并将其作为整个手形状的特征描述子，从而实现手势识别。因为运动会导致深度图的模糊，从而影响形状的精确性，因此该方法仅限于形状描述，以致不适用于运动的手势识别。

发明内容

鉴于现有技术中存在的上述问题而做出本发明，本发明实施例提出一种基于深度图像序列的对象运动模式识别方法和基于深度图像序列的对象运动模式识别设备，更具体地说，本发明实施例提出一种基于邻域深度值差分时空分布的对象运动模式识别方法和设备。

本发明实施例的基于深度图像序列的对象运动模式识别方法和设备提供了可以被广泛应用于各类对象物体运动模式识别的技术框架。该技术手段利用对象在3维空间中的运动所引发的其深度值的变化，这种深度值变化的时空分布能够描述该对象的运动模式。

根据本发明的一个方面，提供一种基于深度图像序列的对象运动模式识别方法，包括：前景确定步骤，在所述深度图像序列的各帧深度图像中确定前景对象区域；差分步骤，计算各帧深度图像中各个像素的深度值与其相邻帧深度图像中邻域像素的深度值之间的差分，以获得邻域深度值差分矢量；量化编码步骤，根据各帧深度图像及其相邻帧深度图像的前景对象区域确定感兴趣区域，将感兴趣区域中各个像素的邻域深度值差分矢量量化编码为邻域深度值差分码；区域划分步骤，将各帧深度图像中感兴趣区域划分为多个子区域；分布描述步骤，根据各帧深度图像中感兴趣区域的子区域中各个像素的邻域深度值差分码，获得该子区域的邻域深度值差分码分布特征向量；识别步骤，根据各帧深度图像中感兴趣区域的子区域的邻域深度值差分码分布特征向量的组合，识别该感兴趣区域所对应对象的运动模式。

根据本发明的另一个方面，提供一种基于深度图像序列的对象运动模式识别设备，包括：前景确定装置，在所述深度图像序列的各帧深度图像中确定前景对象区域；差分装置，计算各帧深度图像中各个像素的深度值与其相邻帧深度图像中邻域像素的深度值之间的差分，以获得邻域深度值差分矢量；量化编码装置，根据各帧深度图像及其相邻帧深度图像的前景对象区域确定感兴趣区域，将感兴趣区域中各个像素的邻域深度值差分矢量量化编码为邻域深度值差分码；区域划分装置，将各帧深度图像中感兴趣区域划分为多个子区域；分布描述装置，根据各帧深度图像中感兴趣区域的子区域中各个像素的邻域深度值差分码，获得该子区域的邻域深度值差分码分布特征向量；识别装置，根据各帧深度图像中感兴趣区域的子区域的邻域深度值差分码分布特征向量的组合，识别该感兴趣区域所对应对象的运动模式。