[发明专利]一种基于Kinect的在线连续人体行为识别方法

说明书

技术领域

本发明涉及一种智能人机交互、智能机器人技术领域，具体是一种基于Kinect的在线连续人体行为识别方法。

背景技术

21世纪人类将进入老龄化社会，发展服务机器人能够弥补年轻劳动力的严重不足，解决老龄化社会的家庭服务、医疗服务等社会问题。国际机器人联合会给服务机器人一个初步的定义：服务机器人是一种半自主或全自主的机器人，它能完成有益于人类的服务，但不包括从事生产的设备；如果服务机器人可以与人进行智能友好的交互，并且能够根据人们在日常生活中的的行为从事一些家庭服务工作，那么家庭服务行业的服务机器人应用必将形成新的产业和新的市场；在服务机器人从事日常生活服务的过程中，人体行为识别与预测是人与服务机器人智能交互的基础，对提高机器人的自主性、智能性起着至关重要的作用；利用人体行为识别与预测技术对人们的日常行为进行识别与预测，可以为服务机器人的日常服务提供理论和现实依据，促进人与服务机器人的智能友好交互及和谐相处，提高人们生活的舒适感。已知的绝大部分人体行为识别算法都是针对已经根据行为类别分割好的数据序列进行的，严格的来说是进行人体行为分类，而非人体行为识别。尽管有若干人体行为识别算法是针对连续的人体行为序列进行的，但这些方法仍是“先检测每种行为的开始和终止时间点以实现人体行为分割，在进行人体行为识别”。针对上述问题，本发明旨在提出一种不需要事先进行人体行为分割且可以直接在连续的且包含多种人体行为的数据序列上进行人体行为识别的在线连续人体行为识别方法。

发明内容

本发明的目的在于提供一种以从Kinect采集到的连续RGB-D图像中提取到的人体骨架信息为基础，对该数据序列中包含的多种人体行为进行在线识别的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于Kinect的在线连续人体行为识别方法，以从Kinect采集到的RGB-D图像中提取到的人体骨架信息为基础，对包含多种人体行为的连续图像序列进行在线的人体行为识别，包括具体以下步骤：

(1)本发明包含模型训练和在线连续人体行为识别两个部分，模型训练过程针对不同行为类别的数据分别进行模型训练，在线连续人体行为识别过程对可能包含多种人体行为的实时图像序列进行人体行为的识别；

(2)在模型训练过程中，对每种行为的数据分别进行特征提取、在线分割、关键姿态和原子动作的提取等三个步骤，最终得到针对每种行为的关键姿态和原子动作集合；

(3)在在线连续人体行为识别过程中，对可能包含多种人体行为的数据进行特征提取、在线分割、在线模式匹配、基于变长最大熵马尔科夫模型的分类等四个步骤，最终实现对每一个特征片段的人体行为识别；

(4)在特征提取过程中逐帧计算人体各关节的归一化相对方位特征，构成人体的全身姿态特征；

(5)在线分割过程中计算每帧特征的势差，然后利用阈值分割方法对每帧特征进行在线分类，每帧特征可以被划分为姿态特征或动作特征，最终得到连续的姿态特征片段和动作特征片段；

(6)在模型训练过程中，对在在线分割过程中得到的每种人体行为的全部姿态特征片段和动作特征片段进行聚类操作，提取每种人体行为的关键姿态和原子动作；

(7)在在线连续人体行为识别过程中，对在线分割得到的每个特征片段进行在线模式匹配操作，计算该特征片段被识别成每种行为的各个关键姿态或原则动作的似然概率；

(8)在在线连续人体行为识别过程中，对计算得到的似然概率运用变长最大熵马尔科夫模型分类算法进行人体行为识别，最终得到当前最新特征片段的最佳人体行为类别。

作为本发明进一步的方案：所述步骤1中，模型训练过程是针对每种人体行为分别进行的；而在线连续人体行为识别过程是针对连续图像序列在线进行的，图像序列中包含的人体行为的种类、个数、以及每种人体行为的起始和终止时间点都是未知的。

作为本发明再进一步的方案：所述步骤2中，需要在得到每种行为的由在线分割算法计算出的全部特征片段后再利用聚类算法提取关键姿态和原子动作。

作为本发明再进一步的方案：所述步骤3中，当利用在线分割算法计算得到一个新的特征片段后，并不对该片段进行聚类操作，而是利用在线模式匹配算法计算该特征片段被识别成各类行为的各个关键姿态或原子动作的似然概率，然后在基于计算得到的似然概率利用变长最大熵马尔科夫模型分类算法对该特征片段进行人体行为识别。