[发明专利]基于深度图像序列的实时人体动作识别方法及装置

说明书

技术领域

本发明涉及模式识别技术领域，具体涉及一种基于深度图像序列的实时人体动作识别方法及装置。

背景技术

随着现代信息技术向智能化、人性化的方向发展，各种人机交互、虚拟现实、智能监控系统相继出现。基于计算机视觉的人体姿势估计、动作识别、行为理解等技术在其中扮演了重要的角色。近年来，微软公司Kinect深度摄像机的发布，使得实时获取场景三维信息的成本大幅度降低，也为动作识别相关领域提供了更多可能性。然而，由于人体的非刚性、运动方式的多样性、位移的随意性，实时、鲁棒地识别人体动作仍面临着很多挑战。

现有技术中，对于深度图像的动作识别主要有两大类方法：一类是借用已有工具，例如Microsoft Kinect SDK等直接获取人体关节点或骨架信息，再使用传统的模式识别算法进行识别；另一类是从原始深度图像数据中提取图像特征。前者虽然实施方便，但难以在自主研发的产品中使用，而且识别性能主要受制于骨架提取工具的准确性。后者按照分类算法可分为运动模板匹配（Action template）和状态空间方法（Temporal state-space models）。运动模板匹配也称为直接分类，是将一组图像序列看成一个静态的形状模式，其存在难以准确描述动作的动态过程的缺陷；状态空间方法是将动作视为一系列姿势或状态之间的动态转移过程，以此建立概率模型，如隐马尔可夫模型（Hidden Markov Models,HMM）、条件随机场模型（Conditional Random Fields,CRF）、最大熵马尔可夫模型（Maximum Entropy Markov Models,MEMM）等。

目前，对于深度图像动作识别的研究还非常有限，现有技术存在一个共同的缺点：由于提取的特征与人体区域的绝对坐标相关，因此在识别前必须进行归一化，需准确地检测目标人体在图像中的位置和大小。然而在实际应用场合中，用户的运动具有很大的随意性，尤其是复杂的动作可能伴随着身体的平移、倾斜或者高度的变化等等，经常导致归一化的偏差，进而影响识别准确率；而且，现有技术中深度图像动作识别方法的识别效率仍有待提高。

发明内容

（一）要解决的技术问题

本发明的目的在于提供一种基于深度图像序列的实时人体动作识别方法，用于提升动作识别的效率以及动作识别的准确性和鲁棒性；进一步的，本发明还提供了一种基于深度图像序列的实时人体动作识别装置。

（二）技术方案

本发明技术方案如下：

一种基于深度图像序列的实时人体动作识别方法，包括步骤：

S1.从目标深度图像序列中提取目标动作剪影，从训练深度图像集中提取训练动作剪影；

S2.对训练动作剪影进行姿势聚类，并对聚类结果进行动作标定；

S3.计算目标动作剪影以及训练动作剪影的姿势特征；

S4.结合训练动作剪影的姿势特征进行基于高斯混合模型的姿势训练并构建姿势模型；

S5.计算聚类结果的每个动作中各姿势间的转移概率并构建动作图模型；

S6.根据所述目标动作剪影的姿势特征、姿势模型以及动作图模型对目标深度图像序列进行动作识别。

优选的，所述步骤S3包括：

S31.将动作剪影在直角坐标系的三个坐标平面分别投影；

S32.在第c个坐标平面的投影轮廓上选取n^c个采样点；

S33.对于每个采样点计算其多维姿势特征向量

S34.每个坐标平面上所有采样点的多维姿势特征向量的集合x^c组成姿势特征{x^c}。

优选的，所述步骤S33包括：

以为中心的a条辐线和以为圆心的b个同心圆形成k个网格；

多维姿势特征向量表示第c个坐标平面上的其他采样点q^c相对于的坐标分布：