[发明专利]一种3D虚拟投影及虚拟触摸的用户交互界面及实现方法

说明书

技术领域

本发明涉及显示设备，尤其涉及一种在显示设备中实现3D虚拟投影及虚拟触摸的用户交互界面及实现方法。

背景技术

目前，已经有出现在虚拟屏幕上实现触摸的操作，但还没有在3D虚拟显示的用户交互界面上实现虚拟触摸操作。

例如，专利号为200910197205.2，专利名称为“一种可视可操作无实体的触摸屏系统”中，公开了一种可视可操作无实体的触摸屏系统，该系统由一台计算机，两个网络摄像头，一个头戴式显示器，以及一个标定参照物组成，该参照物标定了一个虚拟触摸屏。用户可以通过头戴式显示器观察含有虚拟触摸屏的现实世界。并且可以直接用手操作没有实体的触摸屏。本发明采用两个摄像头进行实时的图像采集。计算机系统根据摄像头输入的图像。在标定参照物的配合下进行空间定标与指尖位置动作识别，并且合成相应的图像。头戴式显示器把含有虚拟触摸屏的图像输出给用户。用户通过头戴式显示器直接观察到虚拟触摸屏的反馈。该专利中，虽然实现了在虚拟屏幕上进行触摸的操作，但未实现在3D虚拟显示的用户交互界面上实现虚拟触摸工作。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种给用户带来全新的交互体验的3D虚拟投影及虚拟触摸的用户交互界面及实现方法。

本发明的技术方案为：一种3D虚拟投影及虚拟触摸的用户交互界面，其包括以下部件： 

深度探测器：用于探测用户头部及手部与3D显示设备的距离信息；

双眼图像视差计算模块：根据接收的距离信息计算出将用户交互界面通过3D显示虚拟投影到距用户头部臂长范围的双眼图像视差；

双眼图像处理模块：将左右眼显示的图像处理达到双眼图像视差计算模块计算的双眼图像视差，再将处理后的图像发送给3D显示设备；

3D显示设备：把双眼图像处理模块进行处理过的双眼视差图像以3D显示，使用户交互界面以3D虚拟投影的方式显示在用户头部臂长范围内；

手势识别模块：使用摄像头摄取用户手部运动轨迹，并结合深度探测器得到的用户手部与3D显示设备的距离信息，识别手势；

摄像头：摄取用户手部的运动轨迹；

虚拟触摸控制器：接收手势识别模块的信息，并做出相应反应； 

其中，所述深度探测器的输出端与双眼图像视差计算模块的输入端连接，双眼图像视差计算模块的输出端与双眼图像处理模块的输入端连接；双眼图像处理模块的输出端与3D显示设备连接；手势识别模块的输入端分别与深度探测器和摄像头连接，手势识别模块的输出端与虚拟触摸控制器连接。

所述3D显示设备为电视机、电脑、一体机或手机等手持显示设备。

本发明中， 3D虚拟投影及虚拟触摸的用户交互界面的实现方法包括以下步骤：

1）、深度探测器探测得到用户头部和手部与3D显示设备距离信息，并将探测的距离信息发送给双眼图像视差计算模块；

2）、双眼图像视差计算模块根据接收的距离信息计算出将用户交互界面通过3D显示虚拟投影到用户头部臂长范围的双眼图像视差，并将双眼图像视差信息发送给双眼图像处理模块；

3）、双眼图像处理模块根据接收的双眼图像视差信息，将左右眼显示的图像处理达到双眼视差模块计算的双眼图像视差，再将处理后的图像发送给3D显示设备；

4）、3D显示模块接收双眼图像处理模块发送的处理好的3D图像，以3D方式显示并将图像虚拟投影在用户臂长范围；

5）、手势识别模块根据深度探测器和摄像头识别到用户手势及手指移动轨迹，并将接收的信息发送给虚拟触摸控制器，虚拟触摸控制器根据用户手势及移动轨迹做出相应的反应。

本发明所述步骤5中，当用户做出手势动作时，深度探测器探测用户手指到3D显示设备的距离，并将获取的距离信息发送给手势识别模块；摄像头摄取用户手势动作的图像，也将获取的信息发送给手势识别模块，手势识别模块接收两者的信息后，与3D虚拟显示的用户交互界面的位置做比对，判断用户是否触摸到3D虚拟显示的用户交互界面，并将判断结果发送给虚拟触摸控制器，若有触摸到，则虚拟触摸控制器做出反应，在用户手指触摸到的3D虚拟显示的用户交互界面上产生诸如水波纹或高亮等变化；若没触摸到，虚拟触摸控制器则不反应；

当用户手指在3D虚拟显示的用户交互界面上移动时，摄像头摄取手指移动轨迹，并将获取的信息发送给手势识别模块，手势识别模块判别用户的手势，并将判断结构发送给虚拟触摸控制器，虚拟触摸控制器收到信息后，做出相应反应。