[发明专利]一种三维手势运动重建方法和系统

权利要求书

1.一种三维手势运动重建方法，其特征在于，包括以下步骤：

步骤1，对采集的手势图像序列的第一帧图像按照给定的参考图像进行区域分割；

步骤2，生成所述第一帧图像的各分割区域的仿射变换矩阵；

步骤3，生成三维至二维投影系数，根据所述投影系数和所述的仿射变换矩阵，得出与所述第一帧图像对应的三维手势模型；

步骤4，对得到的与所述第一帧图像对应的三维手势模型，确定其骨架节点和所述骨架节点的自由度；

步骤5，针对所述手势图像序列中的后续各帧图像，基于与前一帧图像对应的三维手势模型的骨架节点和所述自由度，结合当前帧图像进行模拟退火粒子滤波运算，得出当前帧图像的三维手势模型，将与所述手势图像序列中各帧图像对应的三维手势模型作为所述手势图像序列的三维手势重建结果。

2.根据权利要求1所述的重建方法，其特征在于，所述手势图像序列的第一帧图像为无自遮挡和外部遮挡的张开的手的图像，并且手指朝上，手掌或手背面对镜头，手可前后、上下、左右、小角度倾斜。

3.根据权利要求1所述的重建方法，其特征在于，在所述步骤1中，按照手的不同部位进行区域划分并分配不同的颜色，对不同区域生成不同的仿射变换矩阵。

4.根据权利要求1的重建方法，其特征在于，在步骤3中，通过所述仿射变换矩阵得到所述第一帧图像的二维投影图像，再通过所述投影系数得将所述二维投影图像投影到三维空间中得到三维手势模型，通过预定次数的迭代操作来得出所述第一帧图像对应的三维手势模型。

5.根据权利要求1至4任一项所述的重建方法，其特征在于，对所述骨架节点设定约束条件，所述约束条件用于限定所述骨架节点的自由度的角度范围。

6.根据权利要求1至4任一项所述的重建方法，其特征在于，在所述模拟退火粒子滤波运算中，粒子为对应三维手势模型的多维向量，对每一个当前帧图像，对应的初始粒子的数值为前一帧图像的三维手势模型对应的多维向量的数值，并对每一个维度赋予0.1的方差；

与第一帧图像相应的初始粒子为每一个维度均为0的多维向量；

根据方差和初始粒子得到预定数量的多个粒子，对所述多个粒子基于前一帧图像的三维手势模型和当前帧图像，通过优化目标函数并进行迭代操作得出预定数量的多个相近的粒子，将多个相近的粒子的均值作为当前帧图像的三维手势模型。

7.根据权利要求6所述的重建方法，其特征在于，在所述模拟退火粒子滤波运算中，基于前一帧图像的三维手势模型和当前帧图像来计算多个粒子的权值，并根据所述权值进行多项式采样，舍弃权值较低的粒子，根据方差和剩下的粒子重新得出预定数量的一组新的粒子，通过迭代操作使算法收敛，得出预定数量的多个相近的粒子，将多个相近的粒子的均值作为当前帧的三维手势模型。

8.根据权利要求1至4任一项所述的重建方法，其特征在于，在区域分割步骤之前，还包括对采集的图像进行背景去除的步骤。

9.根据权利要求1所述的重建方法，其特征在于，通过多个成像系统从不同的角度采集手势图像序列，对每个角度采集的手势图像序列分别按照步骤1至步骤5进行手势重建。

10.一种三维手势运动重建系统，其特征在于，包括以下单元：

区域分割单元，其对采集的手势图像序列的第一帧图像按照给定的参考图像进行区域分割；

仿射变换矩阵生成单元，其生成所述第一帧图像的各分割区域的仿射变换矩阵；

初始模型生成单元，其生成三维至二维投影系数，根据所述投影系数和所述的仿射变换矩阵，得出与所述第一帧图像对应的三维手势模型；

骨架节点确定单元，其对得到的与所述第一帧图像对应的三维手势模型，确定其骨架节点和所述骨架节点的自由度；

模型重建单元，其针对所述手势图像序列中的后续各帧图像，基于与前一帧图像对应的三维手势模型的骨架节点和所述自由度，结合当前帧图像进行模拟退火粒子滤波运算，得出当前帧图像的三维手势模型，将与所述手势图像序列中各帧图像对应的三维手势模型作为所述手势图像序列的三维手势重建结果。