[发明专利]一种基于人体骨架信息的动作完成度识别方法

说明书

技术领域

本发明属于图像处理技术领域，特别涉及一种基于人体骨架信息的动作完成度识别方法。

背景技术

在重工业工厂中，工人手工工作时间长、劳动工作量较大的情况较为普遍，并且工人所从事的劳动动作重复性较高。传统上，工厂一般采用便携通信设备(如耳麦、对讲机)或人工肉眼巡检的方式判断准确度和完成进度，来进行进度管理，并防止进度拖延。这两种方式有着耗费人力、操作不便、采集周期长、采集数据不准确和增加人工成本等缺点，无法对工作进度进行精确的管理。

微软公司推出的Kinect是一种体感外设摄像头系统，包括：彩色摄像头、深度(红外)摄像头、红外投影机和四元性麦克风阵列，Kinect的特点是可以感知场景深度信息变化，采集人体关节点三维数据。如今Kinect主要被用于手势识别、四肢动作、人体监测等方面。

Kinect结合其SDK(软件开发工具包Software Development Kit)可以得到25个三维人体骨架关节点的信息：当人体走进Kinect的视野范围的时候，Kinect可以找到人体的25个关节点的位置，每个位置通过(x,y,z)坐标来表示。三维坐标系中每个坐标轴x,y,z分别对应深度(红外)摄像头的空间x,y,z坐标轴。这个坐标系是右手螺旋的，Kinect深度(红外)摄像头处于坐标系的原点上，z坐标轴与Kinect深度(红外)摄像头的朝向一致。y轴正半轴向上延伸，x轴正半轴(从Kinect深度(红外)摄像头的视角来看)向左延伸。

DTW(Dynamic Time Warping，动态时间归整)算法：给定两个离散的序列，DTW能够衡量这两个序列的相似程度，或者说两个序列的距离。同时DTW能够对两个序列的延展或者压缩能够有一定的适应性。DTW可以简单且灵活地实现模板匹配，能解决很多离散时间序列匹配的问题，视频动作识别，生物信息比对等等诸多领域都有应用。DTW能够计算这两个序列的相似程度，并且给出一个能最大程度降低两个序列距离的点到点的匹配。

发明内容

本发明目的是为克服已有技术的不足之处，提出一种基于人体骨架信息的动作完成度识别方法。本发明使用Kinect体感外设摄像头系统采集到的人体骨架信息，通过DTW算法计算得出人物某项动作的进度及准确度，方便快捷，准确度高，解决了依靠人工判断动作流程进度及准确度的难题。

本发明提出的一种基于人体骨架信息的动作完成度识别方法，包括以下步骤：

(1)连接计算机与Kinect，在计算机中，分别建立模板数据库和测试数据库两个数据库；

(2)录制模板；使用Kinect拍摄某人完成某项动作流程的完整视频并提取相应的人体骨架信息，存入步骤(1)创建的模板数据库中；具体步骤如下：

(2-1)使用Kinect拍摄某人完成某项动作流程的完整模板视频；

(2-2))从步骤(2-1)拍摄的模板视频中提取每一帧图像以及相应的人体骨架信息，所述人体骨架信息为Kinect记录的每帧图像中人体25个关节点的位置坐标，并保存到模板数据库中；

(2-3)通过人工方式，以该动作流程中各个具体的动作为单位，将模板视频所拍摄的动作流程分割成n个片段，并对每个片段的起止帧进行标注,每个片段标签记为L₁…L_n；将每个片段及其相应的起止帧的信息保存到模板数据库中；

(2-4)重复步骤(2-1)至(2-3)，分别录制不同动作流程的完整模板视频并提取相应的人体骨架信息，保存到模板数据库中，模板数据库构建完毕；

(3)识别动作完成度；具体步骤如下：

(3-1)打开模板数据库，确定所需识别动作所对应的模板视频；

(3-2)使用Kinect实时拍摄某人进行所需识别动作的流程视频作为测试视频，从拍摄的测试视频中实时提取每一帧的图像和人体骨架信息,并保存到数据库mysql中的测试数据库中；

(3-3)设置测试视频的对比相似度的时间窗口W，单位为帧，并设置时间间隔S，单位为秒；

(3-4)设置步骤(3-2)拍摄的测试视频的初始帧数，记为F＝0；

(3-5)从测试视频中读取1帧图像，F＝F+1；

(3-6)提取步骤(3-5)得到的图像的人体骨架信息并保存；

(3-7)对F进行判定：若F小于W，则返回步骤(3-5)继续提取下一帧图像；否则，初始时间窗口构建完毕，进入步骤(3-8)；