[发明专利]一种基于手势识别的增强现实三维绘图系统及绘图方法

说明书

本发明公开了一种基于手势识别的增强现实三维绘图系统及绘图方法，该方法在增强现实的概念上实现了虚拟三维绘图与真实场景融合的效果，可以在计算机上与使用者进行实时交互。通过实时的手势识别和手部运动轨迹识别，本发明允许使用者对二维绘画平面进行平移、三维旋转、远近拉伸操作，并且将虚拟三维空间与实际三维空间融合，从而实现在真实三维空间绘画的效果。本发明可以应用在艺术创作、儿童教育和作品演示中。

技术领域

本发明涉及计算机人机交互领域，尤其涉及一种基于手势识别的增强现实(Augmented Reality，AR)三维绘图系统及绘图方法。

背景技术

人机交互是当前信息行业关注的一个焦点，各国研究人员都将其作为研究的关键技术。经过数十年的发展，目前的人机交互技术，正逐渐由过去的以计算机为中心，逐步转移到以用户为中心，经历了从命令行界面、图形用户界面，到自然用户界面(NUI，NaturalUser Interface)的发展过程。在自然用户界面交互技术中，手势以其灵活、直观和易于学习的优势，成为相关人员的研究重点之一。

计算机图形绘制是人机交互中一个重要的研究方向，随着增强现实概念的提出和发展，人机交互对于非接触式交互的需求逐渐增大，Microsoft Kinect深度相机可以同时提供彩色图像和深度信息，并且相关的Kinect for Windows SDK可以实现图像信息的读取和用户骨架识别，为非接触式交互应用提供了很大便利。

非接触式三维空间绘图方法可以应用在儿童教育、作品展示和艺术创作中，但是目前计算机图形绘制还局限于基于鼠标和键盘的交互方式，而且没有增强现实概念下实时手势绘图的相关研究发表。

发明内容

针对现有技术的不足，本发明提供一种基于手势识别的增强现实三维绘图系统及绘图方法，该绘画系统能实现实时的、无鼠标键盘的纯手势人机交互，手势识别容错率高，操作方便。具体技术方案如下：

一种基于手势识别的增强现实三维绘图系统，其特征在于，该系统包括如下单元：

手部轨迹追踪单元，该单元对使用者双手进行实时跟踪，并且建立动态轨迹图；

静态手势识别单元，该单元对所述的手部轨迹追踪单元追踪到的手部信息进行实时识别，并且更新状态变量空间；

三维绘图单元，该单元将二维绘画轨迹映射到三维空间，根据手势对三维空间进行操作后将三维空间虚拟图像投影到二维现实场景图像中；

人机交互界面单元，该单元包括绘图界面和功能选择界面，实现实时的、无鼠标键盘的纯手势人机交互，所述的绘图界面显示提示信息和实时绘图效果，所述的功能选择界面提供功能选择；

状态变量空间单元，该单元为所述的手部轨迹追踪、静态手势识别、三维绘图、人机交互界面单元提供信息交互的平台，并且存储变量状态，所述的变量具体包括：

变量一：左手位置队列，队列长度固定为k，用以存储左手运动轨迹信息；

变量二：右手位置队列，队列长度固定为k，用以存储右手运动轨迹信息；

变量三：左手手势队列，队列长度固定为n，用以存储左手手势识别结果；

变量四：系统状态变量，所述的系统状态变量的取值为“绘图”、“三维旋转”、“平移”、“远近拉伸”、“功能选择”和“空状态”中的任意一种。

进一步地，所述的人机交互界面单元提供的功能选择包括AR模式、背景模式1、背景模式2、清空画布、撤销画笔、画笔设置、复原坐标系、使用说明、退出等九项功能。

进一步地，所述的AR模式用于展示使用者的现实图像和通过该系统生成的绘画图像。

一种如上所述的基于手势识别的增强现实三维绘图系统的绘图方法，其特征在于，该方法具体包括如下步骤：