[发明专利]一种数字化虚实交互系统及方法

权利要求书

1.一种数字化虚实交互系统，该系统包括：手势采集设备、处理设备以及显示设备，如果用摄像机进行图像采集，则使用显示器进行显示，否则使用触摸屏同时捕捉并显示用户的指尖运动轨迹，处理设备负责进行核心处理工作。 

2.一种数字化虚实交互方法，其特征在于包括以下步骤： 

（1）跟踪捕捉摄像机采集到的用户指尖的运动轨迹； 

（2）在显示器上实时绘制轨迹曲线，或用触摸屏显示并记录用户指尖留下的轨迹； 

（3）提取运动轨迹形成的轮廓并识别其形状，赋予文字语义； 

（4）搭建三维模型库，通过语义管理图形库中的三维模型； 

（5）根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境； 

（6）用户与三维模型及虚拟环境动态交互，实现数字化的虚实交互功能。 

3.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（2）中在显示器上实时绘制轨迹曲线的方法为： 

（2.1）通过背景差方法，从摄像机采集到的当前帧图像中计算用户指尖此时画出的位置点信息； 

（2.2）通过曲线拟合连接上一帧与当前帧的位置点，并且存储用户连续画下的每个指尖点的信息，每一帧都显示至今为止画出的轨迹线，即可清楚地显示用户指尖的运动轨迹。 

4.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（2）中在触摸屏上记录用户指尖轨迹的方法为：用户每次在触摸屏上用指尖触碰一个位置，就在该位置上绘制对应的点，通过曲线拟合将上一帧与当前帧的位置点连接起来，形成运动轨迹。 

5.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（3）中提取运动轨迹形成的轮廓并识别其形状，赋予文字语义的步骤包含一个离线的数据准备工作，即建立二维形状图像库，包括基本形状和多种复杂形状的二维图像。 

6.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（3）中提取运动轨迹形成的轮廓并识别其形状，赋予文字语义的步骤为： 

（3.1）使用OpenCV中的轮廓提取函数cvFindContours提取运动轨迹形成的轮廓； 

（3.2）对得到的轮廓contours，计算其归一化的傅里叶描述子，公式如下： 

其中，N为轮廓点的个数，z(k)为轮廓点序列{x(n)，y(n)}，n=0,1，…，N-1的离散傅里叶变换系数，即傅里叶描述子，计算公式如下：

（3.3）.通过归一化的傅里叶描述子来进行轮廓之间的匹配，计算用户手绘轮廓与二维形状图像库中的每个形状的差异，差异最小者即为匹配结果，最佳匹配的语义即为用户手绘轮廓形状的语义，完成形状识别过程。 

7.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（4）中搭建三维模型库的步骤为： 

（4.1）根据文字语义为数据库的主键，来组织数据库的条目内容； 

（4.2）所存储的三维模型都具有在统一的世界坐标系下的三维坐标，便于导入系统中； 

（4.3）所存储的模型导入系统之后，能在系统驱动下与用户交互，形成一个具有沉浸感的虚实交互系统。 

8.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤（5）中根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境的方法为： 

（5.1）根据用户手绘轨迹的文字语义，检索三维模型库的主键； 

（5.2）使用OpenGL将对应的三维模型导入到系统中； 

（5.3）根据导入的三维模型，系统选择对应的虚拟环境并渲染出来。