[发明专利]基于三维模型的手势跟踪计算方法和装置

说明书

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于三维模型的手势跟踪计算方法和装置。

背景技术

手势识别跟踪技术一直是人机交互的一个重要课题，研究手势识别跟踪技术的主要目的就是把手势这种自然又直观的交流方式引入到人机接口中，实现更符合人类行为习惯的接口，从而得到所需的交互信息。近年来随着科学技术的发展，手势识别跟踪技术已经取得了很多的研究成果。传统的手势识别跟踪技术可以分为二大类：1）利用手的皮肤颜色，在二维图像域进行模板匹配等处理手段进行跟踪；2）使用三维模型，将其投影到二维图像域，利用诸如轮廓、阴影等硬性约束进行跟踪。这两类方法存在的问题包括：

（1）需要比较精确的三维初始模型。这点需要大量的时间成本和经济成本，很不容易实现，；

（2）采用局部优化算法，在小范围内进行优化。容易陷入局部极值，无法从整体上得到非常准确的效果；

（3）随着手势的增加，误识率也会大幅上升，而且手势也不能移动过快。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

为此，本发明的第一个目的在于提供一种基于三维模型的手势跟踪计算方法，该方法改进了模拟退火粒子滤波算法，采用全局优化的算法，无需精确的三维初始模型，对输入的多视点、低分辨率的图像或视频序列显示出了较好的跟踪效果。本发明的第二个目的在于提供一种基于三维模型的手势跟踪计算装置。

为达到上述目的，本发明第一方面的实施例提出了一种基于三维模型的手势跟踪计算方法，包括如下步骤：建立手的三维数据模型，其中，所述三维数据模型包括三维顶点；输入图像序列，其中，所述图像序列的第一帧图像为无自遮挡和外部遮挡的，并且所述第一帧图像按照预设颜色值进行分割；通过所述图像的轮廓像素点和所述三维顶点之间的对应关系，计算仿射变换矩阵；根据所述仿射变换矩阵得到所述三维顶点的类别信息，以及根据所述三维顶点的类别信息得到仿射变换后的结果，得到三维手的模型；设置所述三维手的模型骨架节点和手指自由度，对每一个所述骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。

根据本发明实施例的基于三维模型的手势跟踪计算方法采用全局优化的算法，无需精确的三维初始模型就能够对输入的多视点、低分辨率的图像或视频序列进行精确的跟踪，不做任何的鲁棒的分割，只需要减去背景，即可在噪声点较多的情况下显示较好的跟踪效果。其中，跟踪的结果可以用三维模型的骨架节点的运动参数描述，也可以直接生成变形的三维手的模型。

在本发明的一个实施例中，根据所述仿射变换矩阵得到所述三维顶点的类别信息，包括如下步骤：将所述三维顶点投影到二维平面中，判断所述三维顶点投影所在的位置；以及判断所述三维顶点的颜色信息，得到所述三维顶点的类别信息。

在本发明的一个实施例中，将所述三维顶点的类别信息乘以所述仿射变换矩阵，得到所述仿射变换后的结果。

在本发明的一个实施例中，所述的基于三维模型的手势跟踪计算方法，其特征在于，计算三维-二维的投影系数；将所述仿射变换后的结果反投影到三维空间得到初始三维手模型；对初始三维手模型进行迭代以得到三维手模型。

在本发明的一个实施例中，所述对初始三维手模型迭代的次数为3次或4次。

在本发明的一个实施例中，所述设置所述三维手的模型骨架节点和手指自由度包括：采用6个全局的旋转和平移的自由度且每个手指指定4个自由度。

在本发明的一个实施例中，所述通过粒子滤波算法得到手势轮廓匹配图，包括如下步骤：选择粒子，其中，所述粒子为所述骨架节点的数值；根据所述粒子计算变形后的三维模型；将所述变形后的三维模型投影到二维图像中，计算轮廓匹配误差；根据所述轮廓匹配误差计算所述粒子的权值；根据所述粒子的权值，获得新的粒子直至计算结果满足预定阈值。

在本发明的一个实施例中，采用如下公式计算所述粒子的权值，

w=e^-βE，其中，β=(1+t)^0.7为迭代次数引起的放缩因子，t为迭代次数。