[发明专利]一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法

权利要求书

1.一种基于人体轮廓图提取与分组运动图查询的投篮动作识别方法，其特征 在于包括如下步骤：

1)将预先用运动捕捉设备采集好的各种投篮动作按照朝向与左右手的大类 分组，然后将每个组内的动作拆解成独立的三维姿态，将每个组内的姿态构建 成运动图；

2)对于每个组的运动图上的姿态，将其渲染成多个视角下的二维图像，使 用机器学习的方法对每个组在各个视角上的图像提取图像特征向量；

3)将步骤2)中的每个姿态的各个视角的二维图像拼接成一张图，并用步骤 2)中的特征向量计算这个拼接图像的特征值，称为该姿态的特征值；

4)拍下篮球动作识别系统的场景内在没有人时的各个视角下图片，称为背 景；

5)在进行动作识别时，拍下人的各个视角下的整个投篮动作序列的图片， 称为前景图片；

6)在每个视角下进行如下过程的轮廓提取：将前景图片与背景图片比较获 得差值图像，然后根据差值图像确定人体所在图像中的包围盒位置，再在包围 盒中确定人体的精细图像，最后除去人体的阴影干扰，得到的图像称为轮廓图；

7)将每个视角的轮廓图拼接起来，用步骤2)中提取出来的特征向量计算出 特征值，在步骤1)所述的每个组上寻找与他特征值最相似的姿态，并将与其特 征值最近姿态所在的组称为这帧图像的击中组。

8)找出投篮动作的每帧图像的击中组，投票选出击中最多的组，称为整个 动作的击中组；

9)找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析这些 点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图上连 续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果；

所述的找到每帧图像在动作击中组上特征值最相近的姿态所在的点，分析 这些点之间的关系，使用多段扩展与局部搜索的方法将这些点修复成在运动图 上连续的一段，这段序列所代表的动作序列就是人投篮运动的识别结果步骤包 括：

1)轮廓图像序列在击中组的运动图上将映射成一些点，首先将那些明显偏离 群体的点去除，动作图上的点将形成一些序列段；

2)从每个段开始向前和向后去拓展缺少的节点，对于一个要进行推测的节 点，以最邻近它的帧所映射到的节点为中心，以设定距离为半径的一个区域， 对于这个区域的每一个点，计算它的二维图像与以该推测节点号为帧号的轮廓 图在特征值上的海明距离，找到那个距离最小的点就认为是该帧匹配的节点；

3)找出运动图上节点所形成的所有序列段，对于每段序列，用上一步所述 的拓展方法，推断出整个动作序列所有节点，这些节点组成新的序列，对于推断 出来的每一个新的序列，计算它的每个节点的二维图像与原始轮廓图相对应帧 的特征值的海明距离的和，最后挑选出这个和最小的那个序列就是我们匹配到 的结果；

4)对结果动作序列进行插值，适当地增加帧数以提高动作的平滑连贯。

2.如权利要求1所述的一种基于人体轮廓图提取与分组运动图查询的投篮 动作识别方法，其特征在于，所述的将预先用运动捕捉设备采集好的各种投篮 动作按照朝向与左右手的大类分组，然后将每个组内的动作拆解成独立的三维 姿态，将每个组内的姿态构建成运动图步骤包括：

1)将用动作捕捉设备捕获下来的三维运动分成四组，第一组包括正向左手、 正向双手、左侧身左手，第二组包括正向右手单手、正向双手、右侧身右手， 第三组包括背向双手、背向左手、左侧身左手，第四组包括背向双手、背向右 手、右侧身右手，分组原则是每一个组内的动作自然过渡；

2)将每组内的所有动作的每一帧都截取下来，每一帧称为一个姿态；

3)在每组内计算任意两个姿态间的三维距离，用一张运动图来表示这些姿 态和他们之间的距离，运动图上的节点是姿态，运动图上的边是它所连接的两 个节点所表示的姿态间的三维骨架距离，为每一个组都构建一个运动图。

3.如权利要求1所述的一种基于人体轮廓图提取与分组运动图查询的投篮 动作识别方法，其特征在于，所述的在每个视角下进行如下过程的轮廓提取： 将前景图片与背景图片比较获得差值图像，然后根据差值图像确定人体所在图 像中的包围盒位置，再在包围盒中确定人体的精细图像，最后除去人体的阴影 干扰，得到的图像称为轮廓图步骤包括：

1)对于一张输入的由摄像机拍摄下来的图像，计算出输入图像与背景图像 的差异I^differ，定义背景图像上某点(x，y)的颜色值为(R^background(x，y)，G^background(x，y)， B^background(x，y))，输入图像上对应点的颜色值为(R^input(x，y)，G^input(x，y)，B^input(x，y))， I^differ是一张灰度图，它表示了输入图像和背景图像对应点的差异，I^differ计算的公式 是

s(x，y)＝max(|R^background(x，y)-R^input(x，y)|，|G^background(x，y)-G^input(x，y)|，|B^background(x，y)-B^input(x，y)|)；

I_differ(x，y)＝s(x，y)/3+s(x-1，y)/6+s(x+1，y)/6+s(x，y-1)/6+s(x，y+1)/6；

2)先用一个大的阈值来将I_differ二值化，前景为白色，背景为黑色，然后再进行 膨胀，将会得到一些粗略的人体的团块，而小的噪声已被滤去，首先找到这些团块 中最大的那个团块，然后设定一个距离为阈值，将那些距离主要团块小于这个 阈值的团块吸附到这个主团块上，最后找到这个图像中的前景的矩形区域R是 人体出现的区域；

3)先对包围盒里面的图像用一个小的阈值进行二值化，这将得到一个清晰 的轮廓图；

4)在这个包围盒的底部用一个大阈值来进行二值化，这将剔除人的影子；

5)最后再对提取出来的图像进行简单的平滑降噪处理，并且将人体轮廓缩 放成统一大小后放置在图片正中央，得到轮廓图。