[发明专利]一种三维手势运动重建方法和系统

说明书

技术领域

本发明涉及计算机视觉、计算机图形学领域，具体地，涉及一种三维手势的运动重建技术。

背景技术

对运动手势进行运动重建是研究人员一直关心的问题，因为在人与人之间的信息交流中，手势通常扮演着很重要的作用。在虚拟现实中，手是用户模型中十分重要的动作与感知关系模型，人的行为特征是人机交互的重要研究内容。在虚拟环境中用手实现抓取、释放物体以及飞行、漫游、导航等三维交互任务和技术，以往是利用人的触摸行为和计算机的反应来获得基于人机交互的手段。在人机交互过程中，通过手势动作直接与计算机系统进行交互，相比传统的交互方式更加直观、清晰，同时也使用户具备更好的体验。

到目前为止，手势的运动重建已经取得了很多的研究成果。概括起来可以分为二大类：1)利用手的皮肤颜色，在二维图像域进行模板匹配等处理手段进行运动重建；2)使用三维模型，将其投影到二维图像域，利用诸如轮廓、阴影等硬性约束进行运动重建。由于三维模型的手的运动重建能够融合计算机图形学与计算机视觉的方法进行处理，因此其获得了很大的成功。但是目前尚存在以下问题：1)重建工作需要获得比较精确的三维初始模型；2)重建工作通常采用局部优化算法，在小范围内进行优化，这样很可能陷入局部极值的情况；3)重建工作即使存在全局优化的算法，算法的运行时间通常较长。

发明内容

本发明所要解决的技术问题是需要提供一种三维手势运动重建方法和系统，能够利用一个一般的初始三维手模型，实现三维手势的重建，无需精确的三维初始模型即可得到效果好的重建模型。

为了解决上述技术问题，本发明提供了一种三维手势运动重建方法，其特征在于，包括以下步骤：步骤1，对采集的手势图像序列的第一帧图像按照给定的参考图像进行区域分割；步骤2，生成所述第一帧图像的各分割区域的仿射变换矩阵；步骤3，生成三维至二维投影系数，根据所述投影系数和所述的仿射变换矩阵，得出与所述第一帧图像对应的三维手势模型；步骤4，对得到的与所述第一帧图像对应的三维手势模型，确定其骨架节点和所述骨架节点的自由度；步骤5，针对所述手势图像序列中的后续各帧图像，基于与前一帧图像对应的三维手势模型的骨架节点和所述自由度，结合当前帧图像进行模拟退火粒子滤波运算，得出当前帧图像的三维手势模型，将与所述手势图像序列中各帧图像对应的三维手势模型作为所述手势图像序列的三维手势重建结果。

进一步，该方法还包括，所述手势图像序列的第一帧图像为无自遮挡和外部遮挡的张开的手的图像，并且手指朝上，手掌或手背面对镜头，手可前后、上下、左右、小角度倾斜。

进一步，该方法还包括，在所述步骤1中，按照手的不同部位进行区域划分并分配不同的颜色，对不同区域生成不同的仿射变换矩阵。

进一步，该方法还包括，在步骤3中，通过所述仿射变换矩阵得到所述第一帧图像的二维投影图像，再通过所述投影系数得将所述二维投影图像投影到三维空间中得到三维手势模型，通过预定次数的迭代操作来得出所述第一帧图像对应的三维手势模型。

进一步，该方法还包括，对所述骨架节点设定约束条件，所述约束条件用于限定所述骨架节点的自由度的角度范围。

进一步，该方法还包括，在所述模拟退火粒子滤波运算中，粒子为对应三维手势模型的多维向量，对每一个当前帧图像，对应的初始粒子的数值为前一帧图像的三维手势模型对应的多维向量的数值，并对每一个维度赋予0.1的方差；与第一帧图像相应的初始粒子为每一个维度均为0的多维向量；根据方差和初始粒子得到预定数量的多个粒子，对所述多个粒子基于前一帧图像的三维手势模型和当前帧图像，通过优化目标函数并进行迭代操作得出预定数量的多个相近的粒子，将多个相近的粒子的均值作为当前帧图像的三维手势模型。

进一步，该方法还包括，在所述模拟退火粒子滤波运算中，基于前一帧图像的三维手势模型和当前帧图像来计算多个粒子的权值，并根据所述权值进行多项式采样，舍弃权值较低的粒子，根据方差和剩下的粒子重新得出预定数量的一组新的粒子，通过迭代操作使算法收敛，得出预定数量的多个相近的粒子，将多个相近的粒子的均值作为当前帧的三维手势模型。

进一步，该方法还包括，在区域分割步骤之前，还包括对采集的图像进行背景去除的步骤。

进一步，该方法还包括，通过多个成像系统从不同的角度采集手势图像序列，对每个角度采集的手势图像序列分别按照步骤1至步骤5进行手势重建。