[发明专利]一种可视可操作无实体的触摸屏系统

说明书

技术领域

本发明属于人机交互技术领域，具体涉及一种可视可操作的触摸屏系统。

背景技术

在很多虚拟现实系统中，用户使用数据手套、指示笔、三维鼠标代替鼠标和键盘进行 操作。它们能适应虚拟现实系统中空间定位的要求，扩展了操作的形式。但是，它们有共 同的缺点：使用不自然。用户使用这些器材的时候，有的要佩戴沉重的设备，有的要连着 限制活动范围的数据线。

以虚拟现实为代表的计算机系统的拟人化和以手持电脑、智能手机为代表的计算机的 微型化、随身化、嵌入化，是当前计算机的两个重要的发展趋势，而以鼠标和键盘为代表的 GUI技术是影响它们发展的瓶颈。所以，脱离设备，使用人的感觉和动作来进行输入越来 越受到人们重视。

另一方面，在虚拟现实的人机交互中，人们不单需要有自然的输入，还需要自然的输 出。人们希望观察的虚拟世界就在他们周围，而不仅限于屏幕中。这样人们才能以平常观 察物体的方式，从自己喜欢的角度观看并获取需要的信息。研究者开始抛弃传统的固定显 示器，提出了用投影以及头戴式显示器来进行输出的方法，或者是使用三维全息显示设备 来向人们展示虚拟的物体。

CN1912816A号专利公告公布了一种基于多摄像头的虚拟触摸屏系统。该系统有2个或 以上固定的摄像头来拍摄手指在虚拟触摸屏上的移动和点击操作，利用HSV色彩空间背景 分割方法提取手部轮廓，使用粒子滤波追踪来进行指尖定位。该发明能解决利用直接人手 进行输入的问题，但是却没有考虑到用户如何观察虚拟输出，只是使用普通的显示屏进行 输出，在输出的层面没有实现虚拟化。

发明内容

本发明的目的在于提供一种能使用户同时观察和操作的没有实体的触摸屏系统，该系 统结合了基于计算机视觉的指尖检测技术和增强现实技术，把手指的位置映射到增强现实 世界中，使用户看到的虚拟触摸屏能在正确的位置被触摸和操作，可在输出层面实现虚拟 化。

本发明的触摸屏系统包括一台计算机，两个网络摄像头，一个头戴式显示器，一个标 定参照物，该标定参照物标定了一个供操作者手部触摸操作的虚拟触摸屏。两个网络摄像 头和计算机连接，计算机再与头戴式显示器连接。头戴式显示器佩戴于用户(即操作者) 眼前，两个网络摄像头分别设置于头戴式显示器左右上方，用于拍摄用户手部以及标定参 照物，实时捕获得到视频图像。两个网络摄像头拍摄方向所在射线相交，在同一水平面上 成30到90度的夹角。该系统对夹角角度没有严格的要求。网络摄像头把捕获的视频帧传 送到计算机；计算机中设有计算软件系统，该软件系统根据标定参照物在视频帧中的图像， 计算得到当前摄像头所在的方位，从而确定虚拟触摸屏所在位置；根据人手在视频帧中的 图像，计算人手的位置，判别人手是否与虚拟触摸屏接触；根据以上信息，计算软件系统 再进行图像合成；合成的图像通过头戴式显示器进行输出，用户通过头戴式显示器直接观 察到虚拟触摸屏的反馈。

本发明各个部分进一步描述如下：

1、虚拟触摸屏，以及用户对其的操作

本发明中的虚拟触摸屏，实际上是现实空间中的一个矩形区域。这片区域使用一个参 照物来进行标定。用户可以用手指(握拳状态时伸出的任意一根手指)在这片区域中进行 点击、拖曳、多点触控等传统触摸屏的操作。本发明没有在该区域设置任何触控感知硬件 设备以及显示设备，而是通过两个网络摄像头进行基于视觉的人手触控感应，通过头戴式 显示器中触摸屏虚拟影像与现实世界影像的叠加进行显示输出。在旁人看来，用户是在操 作不可见的物体。

2、两个摄像头，用于实时采集视频图像

本发明使用两个网络摄像头同时拍摄用户手部以及标定参照物。

系统在初始化时，主要是进行摄像头捕获图像的前期工作，包括读入摄像镜头的数据， 设定摄像头的光学特性与画面大小。另外，系统也会读入参照物的形状数据，供之后匹配 使用。

系统在接近的时间分别捕获两个摄像头的图像，并留待后面步骤处理。同时，对捕获 到的图像做一个备份，作为后期合成时使用的背景图像。

捕获到的图像格式是RGBA格式(R-红，G-绿，B-蓝，A-透明度)。之所以保留A通 道，是因为之后的图像合成处理中要使用A通道来进行透明判断，进而决定虚拟图像与现 实图像的合成方式。