[发明专利]一种基于局部时空特征的人体行为识别方法

说明书

本发明请求保护一种基于局部时空特征的人体行为识别方法，属于计算机视觉技术领域以及人体行为识别技术领域。本发明首先利用Kinect深度传感器中提取的骨骼视频序列作为人体行为表示，为视频序列中的每一个行为的每一帧提取位移矢量特征、相对位置特征、关节夹角特征等局部时空特征，然后利用K‑means聚类算法和VLAD算法将局部特征聚合成若干特征向量，然后将特征向量与LMNN算法结合进行度量学习，最后采用K‑NN分类器进行分类。本发明用于人体行为识别能使特征表达更具描述性和准确性，可以明显提高行为识别准确率。

技术领域

本发明属于计算机视觉技术领域以及人体行为识别技术领域，尤其涉及一 种基于局部时空特征的人体行为识别方法。

背景技术

人体行为识别是指计算机对人体行为的描述和理解，其应用包括智能安防、 人机交互、监视系统和医疗诊断等。在实际应用中，由于人体行为动作多变性、 背景复杂性以及摄像机视角变化等因素，人体行为识别成为计算机视觉领域的 难点和热点问题。

近年来，从深度图中提取骨骼视频序列的人体行为识别方法备受关注，现 有方法大致分为基于身体部位的方法和基于骨骼节点的方法两类。

一)：基于身体部位的方法。该方法主要描述身体部位间关节夹角的变化或 者身体各个部位的运动，如Xia L等人提出了3D关节的直方图(HOJ3D)表示 人体姿态，采用LDA来投影直方图序列，并使用K-means算法标记每个姿态， 详见文献“Xia L,Chen C C,Aggarwal J K.View invariant human action recognition using histograms of 3Djoints[C]//Computer Vision and Pattern Recognition Workshops.Providence,RI,USA:IEEE,2012:20-27.”；Ofli F等人根据人体关节的 空间坐标提取关节角，并计算每个关节角在整个行为过程中的方差，然后根据 方差的大小排序，获取若干个最具信息量的关节部位，详见文献“Ofli F,Chaudhry R,Kurillo G,et al.Sequence of the MostInformative Joints(SMIJ):Anew representation for human skeletal actionrecognition[C]//Computer Vision and Pattern Recognition Workshops.Providence,RI,USA:IEEE,2012:24-38.”。

二)：基于骨骼节点的方法。该方法将人体骨骼看作点集，因此产生各种特 征提取方法，如Devanne M等人提出了基于流形的方法来分析骨骼关节序列， 将骨骼关节的时间信息投影到黎曼流行中，并提出一个弹性度量来比较不同的 动作，详见文献“Devanne M,Wannous H,Berretti S,et al.3-D human action recognition by shape analysis ofmotion trajectories on riemannian manifold[J].IEEE Transactions onCybernetics,2015,45(7):1340-1352.”；Luvizon D C等人提出了一 种时空特征表示方法，通过骨骼关节子集提取关节点的位移矢量信息和相对位 置信息作为局部特征，取得了较好的识别效果，详见文献“Luvizon D C,Tabia H, Picard D.Learning featurescombination for human action recognition from skeleton sequences[J].PatternRecognition Letters,2017,99:13-20”。