[发明专利]一种基于Kinect的在线连续人体行为识别方法

摘要

本发明公开了一种基于Kinect的在线连续人体行为识别方法，包括以下步骤a)从Kinect采集到的RGB‑D图像中提取人体骨架信息，计算各关节点的归一化相对方位特征；b)利用基于特征序列势差的在线分割方法对特征序列进行在线动态分割，得到姿态特征片段和动作特征片段；c)从分割得到的姿态特征片段和动作特征片段中分别提取关键姿态和原子动作；d)把分割得到的特征片段与离线训练得到的关键姿态或原子动作进行在线模式匹配，计算得到该特征片段被识别成某类行为的关键姿态或原子动作的似然概率；e)基于计算得到的似然概率，利用变长最大熵马尔科夫模型进行人体行为识别。与已知算法相比，本发明不需要事先检测各个人体行为的开始和结束时间点，可以在线实时执行。

主权项

一种基于Kinect的在线连续人体行为识别方法，以从Kinect采集到的RGB‑D图像中提取到的人体骨架信息为基础，对包含多种人体行为的连续图像序列进行在线人体行为识别，其特征在于，包括以下步骤：(1)本发明包含模型训练和在线连续人体行为识别两个部分，模型训练过程针对不同行为类别的数据分别进行模型训练，在线连续人体行为识别过程对可能包含多种人体行为的实时图像序列进行在线人体行为的识别；(2)在模型训练过程中，对每种行为的数据分别进行特征提取、在线分割、关键姿态和原子动作的提取等三个步骤，最终得到针对每种行为的关键姿态和原子动作集合；(3)在在线连续人体行为识别过程中，对可能包含多种人体行为的数据进行特征提取、在线分割、在线模式匹配、基于变长最大熵马尔科夫模型的分类等四个关键步骤，最终实现对每一个特征片段的人体行为识别；(4)在特征提取过程中逐帧计算人体各关节的归一化相对方位特征，构成人体的全身姿态特征；(5)在线分割过程中，计算每帧特征的势差，然后利用阈值分割方法对每帧特征进行在线分类，每帧特征可以被划分为姿态特征或动作特征，最终得到连续的姿态特征片段和动作特征片段；(6)在模型训练过程中，对在在线分割过程中得到的每种人体行为的全部姿态特征片段和动作特征片段进行聚类操作，提取每种人体行为的关键姿态和原子动作；(7)在在线连续人体行为识别过程中，对在线分割得到的每个特征片段进行在线模式匹配，计算该特征片段被识别成每种行为的各个关键姿态或原则动作的似然概率；(8)在在线连续人体行为识别过程中，对计算得到的似然概率运用变长最大熵马尔科夫模型分类算法进行人体行为识别，最终得到当前最新特征片段的最佳人体行为类别。