[发明专利]一种基于手势识别的增强现实三维绘图系统及绘图方法

权利要求书

1.一种基于手势识别的增强现实三维绘图系统，其特征在于，该系统包括如下单元：

手部轨迹追踪单元，该单元对使用者双手进行实时跟踪，并且建立动态轨迹图；

静态手势识别单元，该单元对所述的手部轨迹追踪单元追踪到的手部信息进行实时识别，并且更新状态变量空间；

三维绘图单元，该单元将二维绘画轨迹映射到三维空间，根据手势对三维空间进行操作后将三维空间虚拟图像投影到二维现实场景图像中；

人机交互界面单元，该单元包括绘图界面和功能选择界面，实现实时的、无鼠标键盘的纯手势人机交互，所述的绘图界面显示提示信息和实时绘图效果，所述的功能选择界面提供功能选择；

状态变量空间单元，该单元为所述的手部轨迹追踪、静态手势识别、三维绘图、人机交互界面单元提供信息交互的平台，并且存储变量状态，所述的变量具体包括：

变量一：左手位置队列，队列长度固定为k，用以存储左手运动轨迹信息；

变量二：右手位置队列，队列长度固定为k，用以存储右手运动轨迹信息；

变量三：左手手势队列，队列长度固定为n，用以存储左手手势识别结果；

变量四：系统状态变量，所述的系统状态变量的取值为“绘图”、“三维旋转”、“平移”、“远近拉伸”、“功能选择”和“空状态”中的任意一种。

2.根据权利要求1所述的基于手势识别的三维绘图系统，所述的人机交互界面单元提供的功能选择包括AR模式、背景模式1、背景模式2、清空画布、撤销画笔、画笔设置、复原坐标系、使用说明、退出等九项功能。

3.根据权利要求2所述的基于手势识别的增强现实三维绘图系统，所述的AR模式用于展示使用者的现实图像和通过该系统生成的绘画图像。

4.一种如权利要求1所述的基于手势识别的增强现实三维绘图系统的绘图方法，其特征在于，该方法具体包括如下步骤：

步骤一：分别建立左、右手的位置队列，队列长度固定为k，用以存储手部轨迹信息；

步骤二：从Kinect深度相机提取图像的彩色信息、深度信息和使用者的骨骼信息，根据使用者的骨骼信息分别对左右手进行如下操作：

对于左手：

(1)分割出左手手部区域，将图像转换为二值图，然后对图像先进行腐蚀操作，后中值滤波；

(2)提取手部轮廓，以序号为横坐标、轮廓与手部质心的距离为纵坐标绘制边缘-质心距离序列曲线；

(3)提取边缘-质心距离序列曲线的尖峰，计算尖峰幅值大于阈值的尖峰数量，作为手指数目；

(4)根据手指数目确定当前手势，取值分别为“拳”、“一指”、“二指”、“三指”、“四指”、“掌”，将手势信息更新到状态变量空间单元的左手手势队列中；

(5)根据左手手势队列计算系统状态变量；

对于右手：

根据使用者的骨骼信息实时更新右手的位置队列，根据当前位置队列计算当前右手的运动速度和方向；

步骤三：根据所述的系统状态变量以及右手的运动速度和方向对绘画系统进行不同的操作：

操作一：如果系统状态为“绘图”，则根据右手位置和当前二维画板位置将二维点映射到三维绘图单元中存储的三维点云中，然后再将三维点云投影到当前二维图像窗口中，与Kinect采集的现实RGB图像一起展示，实现虚拟三维图像与实际三维空间融合的效果；

操作二：如果系统状态为“三维旋转”，则根据右手位置队列计算出当前右手运动速度和方向信息，对三维图像进行相同方向和速度的三维旋转操作；

操作三：如果系统状态为“平移”，则根据当前右手运动速度和方向信息对三维图像进行平移操作；

操作四：如果系统状态为“远近拉伸”，若判断右手为向上运动，则将三维图像向远离人体的方向移动，若判断右手为向下运动，则将三维图像向靠近人体的方向移动，移动速度与右手运动速度成正比；

操作五：如果系统状态为“空状态”，则不对图像空间进行操作。