[发明专利]一种可视可操作无实体的触摸屏系统

权利要求书

1.一种可视可操作无实体的触摸屏系统，其特征在于包括一台计算机，两个网络摄 像头，一个头戴式显示器，一个标定参照物，该标定参照物标定了一个供用户手部触摸操 作的虚拟触摸屏；两个网络摄像头和计算机连接，计算机再与头戴式显示器连接；头戴式 显示器佩戴于用户眼前，两个网络摄像头分别设置于头戴式显示器左右上方，用于拍摄用 户手部以及标定参照物，实时捕获得到视频图像；两个网络摄像头拍摄方向所在射线相交， 在同一水平面上成30到90度的夹角；网络摄像头把捕获的视频帧传送到计算机；计算机 中设有计算软件系统，该软件系统根据标定参照物在视频帧中的图像，计算得到当前摄像 头所在的方位，从而确定虚拟触摸屏所在位置，并根据人手在视频帧中的图像，计算人手 的位置，判别人手是否与虚拟触摸屏接触；根据以上虚拟触摸屏的位置信息、人手的位置 及人手是否接触虚拟触摸屏的动作信息，计算软件系统再进行图像合成；合成的图像通过 头戴式显示器进行输出，用户通过头戴式显示器直接观察到虚拟触摸屏的反馈；

所述的计算软件系统由下述软件模块组成：

1)虚拟触摸屏定位模块

该模块根据参照物的坐标系与摄像头的坐标系之间的转换关系，确定虚拟触摸屏相对 于摄像头的空间位置；对虚拟触摸屏进行定位后，系统可以得到虚拟触摸屏上面的点与摄 像头拍摄到的图像上的点的对应关系，包括虚拟触摸屏4个角点在摄像头拍摄图像上对应 的4个点，得到虚拟触摸屏影像合成在现实世界影像的位置和角度；

2)指尖定位及运动检测模块

该模块首先进行肤色检测，把人手区域分割出来，再用计算机图像处理的形态学方法 获取人手指尖在摄像头图像中的位置；然后，根据虚拟触摸屏的位置，计算出手指在其上 的位置，并使用运动追踪算法加强稳定性；最后，使用射影几何方法，判断指尖是否与虚 拟触摸屏接触；该模块又分为如下几个子模块：

i)肤色检测子模块

本系统使用一种基于肤色检测算法的背景分割方法；该算法基于这样一个统计数据： 人手的色彩在YCbCr色彩空间上的分布投影到Cb-Cr平面上时，能近似聚集在一个椭圆区 域内，由此判定在该椭圆区域范围内的色彩是肤色，得到肤色所在的区域，即人手所在的 区域；

ii)指尖在摄像头图像中位置检测子模块

在这个模块中，系统要获取指尖在摄像头图像中位置；

首先，系统对肤色区域使用连通区算法求出所有连通区，判定手部区域是画面中最大 的连通区；

给该连通区进行去噪处理后，提取手指的轮廓，把手指区域填充完整；

接着，从其上确定指尖位置：使用一种改进的Takao算法来定位出指尖的位置：先计 算出手部连通区的倾斜角度，然后根据手部与敏感区域边界的靠近情况来决定手指的底 部，接着计算从手指底部出发顺着手部倾斜方向找到最远点；该点即为指尖位置；

iii)指尖在虚拟触摸屏中的位置计算子模块

在本模块中，系统通过近似射影变换找出指尖在虚拟触摸屏上的位置；

iv)指尖与虚拟触摸屏接触检测子模块

本模块用于判断指尖是否与虚拟触摸屏接触，其得到的信息能让系统判断指尖是否进 行点击、拖曳操作；

利用射影几何的方法来判断指尖是否接触虚拟屏平面，当指尖不落在虚拟平面上时， 通过成像平面观察，其在虚拟平面上的投影不重合；当指尖落在虚拟平面上时，它在虚拟 平面的投影重合；

3)虚拟触摸屏视频图像合成模块

本模块根据前面获得的虚拟触摸屏的位置信息以及指尖的位置动作信息，合成相应的 虚拟图像，以提供适当的操作反馈；具体分为两个部分：

i)把虚拟物体叠加在背景图像上

根据上面采集到的触控操作信息，系统绘制相应的虚拟触摸屏反馈，然后叠加在摄像 头拍摄的现实图像上；

ii)把手叠加在图像最上方

把合成后的图像输出到头戴式显示器上，用户便能观察到虚拟触摸屏。