[发明专利]一种基于人体骨架信息的动作完成度识别方法

摘要

本发明提出的一种基于人体骨架信息的动作完成度识别方法，属于图像处理领域。本发明分别建立模板数据库和测试数据库；使用Kinect拍摄某人完成某项动作流程的完整视频并提取相应的人体骨架信息，存入模板数据库中；识别时，设置时间窗口和时间间隔，使用Kinect实时拍摄测试视频，提取每一帧图像及人体骨架信息；按照时间间隔不断移动时间窗口，直到时间窗口移动至测试视频的最后一帧为当前时间窗口的最后一帧时，计算时间窗口与模板视频所有片段匹配的相似度，模板视频相似度最高片段的动作即为动作识别结果并计算动作完成度。本发明能够实时进行比对，方便快捷，准确度高，解决了依靠人工判断动作流程进度及准确度的难题。

主权项

一种基于人体骨架信息的动作完成度识别方法，其特征在于，包括以下步骤：(1)连接计算机与Kinect，在计算机中，分别建立模板数据库和测试数据库两个数据库；(2)录制模板；使用Kinect拍摄某人完成某项动作流程的完整视频并提取相应的人体骨架信息，存入步骤(1)创建的模板数据库中；具体步骤如下：(2‑1)使用Kinect拍摄某人完成某项动作流程的完整模板视频；(2‑2))从步骤(2‑1)拍摄的模板视频中提取每一帧图像以及相应的人体骨架信息，所述人体骨架信息为Kinect记录的每帧图像中人体25个关节点的位置坐标，并保存到模板数据库中；(2‑3)通过人工方式，以该动作流程中各个具体的动作为单位，将模板视频所拍摄的动作流程分割成n个片段，并对每个片段的起止帧进行标注,每个片段标签记为L1…Ln；将每个片段及其相应的起止帧的信息保存到模板数据库中；(2‑4)重复步骤(2‑1)至(2‑3)，分别录制不同动作流程的完整模板视频并提取相应的人体骨架信息，保存到模板数据库中，模板数据库构建完毕；(3)识别动作完成度；具体步骤如下：(3‑1)打开模板数据库，确定所需识别动作所对应的模板视频；(3‑2)使用Kinect实时拍摄某人进行所需识别动作的流程视频作为测试视频，从拍摄的测试视频中实时提取每一帧的图像和人体骨架信息,并保存到数据库mysql中的测试数据库中；(3‑3)设置测试视频的对比相似度的时间窗口W，单位为帧，并设置时间间隔S，单位为秒；(3‑4)设置步骤(3‑2)拍摄的测试视频的初始帧数，记为F＝0；(3‑5)从测试视频中读取1帧图像，F＝F+1；(3‑6)提取步骤(3‑5)得到的图像的人体骨架信息并保存；(3‑7)对F进行判定：若F小于W，则返回步骤(3‑5)继续提取下一帧图像；否则，初始时间窗口构建完毕，进入步骤(3‑8)；(3‑8)使用DTW算法计算初始时间窗口与步骤(3‑1)的模板视频所有片段匹配的相似度，得到模板视频中相似度最高的片段标签记为Lx1,其中x1∈[1,n]，则该片段标签Lx1代表的动作为初始时间窗口的动作识别结果；(3‑9)以S为步长，以起始帧数F＝0为起点，移动时间间隔S，得到新的起始帧，重复步骤(3‑4)‑(3‑8)，得到新的时间窗口以及该时间窗口的动作识别结果；(3‑10)重复步骤(3‑9)，不断移动时间窗口，直到时间窗口移动至步骤(3‑2)拍摄的测试视频的最后一帧作为当前时间窗口的最后一帧时，记录此时匹配得到的片段标签记为Lxm，xm∈[1,n]，则该片段标签Lxm所代表的动作即为识别得到的测试视频所完成的动作，计算动作的完成度，表达式如下：C＝xm/n式中，C代表动作完成度；识别结束。