[发明专利]用于移动设备的虚实融合键盘系统和方法

说明书

本发明公开了用于移动设备的虚实融合键盘系统和方法，属于虚拟现实技术领域。该方案数据处理量小，适用于移动设备的处理速度，且移动设备与虚拟现实显示设备分立设置，不影响用户舒适度。本发明的技术方案为：用于移动设备的虚实融合键盘系统，包括实体键盘、移动设备以及融合显示模块。移动设备具有视频捕捉模块和图像转化模块；移动设备固定在实体键盘的上方设定位置处，移动设备与实体键盘的位置关系为：实体键盘处于视频捕捉模块的视场范围内；图像转化模块，用于将视频捕捉模块所捕获的实体键盘的实时场景图像转换为以用户人眼为视角的键盘虚拟图像。融合显示模块，用于将键盘虚拟图像与虚拟环境进行虚实融合显示。

技术领域

本发明涉及虚拟现实技术领域，具体涉及用于移动设备的虚实融合键盘系统和方法。

背景技术

目前，不少研究提出虚拟现实的文本输入方案，例如通过手势识别进行文本输入以及使用手柄通过射线以及按键操纵虚拟环境中的虚拟键盘来实现字符的选择等，但是，这些输入方案的输入效率都较低，远远低于直接使用键盘进行输入的效率。

目前的虚实融合键盘系统的方式有两种。一种方式是利用跟踪器跟踪键盘，获取键盘的位置信息，同时利用数据手套获取用户手部的位姿信息，最后将获取到的键盘信息和手部信息传输到计算机中，控制计算机中对应的虚拟键盘和虚拟手模型，从而使用户可以通过虚拟手控制虚拟键盘，实现键盘输入。这样的方式需要实时处理键盘位置信息和手部位姿信息，尤其是手部实时位姿信息的数据量很大，对计算机的运行要求较高，一般的移动设备无法满足这样的需求。另一种方式是在VR眼镜上粘贴摄像头，当用户低头观看键盘时，直接将拍摄到的键盘画面投影到虚拟环境中，从而构建键盘输入系统。然而，这样在头盔上粘贴相机的方式会增大头盔的重量，降低用户的舒适感。

申请号为CN201810330801.2的专利提供了一种用于虚拟现实的虚实融合键盘系统，是一种基于虚拟现实设备的位置跟踪器进行键盘的虚实融合的方法及系统。该系统使用位置跟踪器跟踪真实键盘的位置，并通过手型获取设备获取手部的位置信息和相关手势状态，将这些信息传送到计算机。由计算机根据这些信息进行实时渲染，在虚拟环境中生成对应的虚拟键盘模型和手部模型。

这种实时跟踪渲染对计算机的计算速度要求较高，目前一般的移动设备(如手机、平板电脑)无法达到这样的计算速度，不能应用到移动设备的虚拟现实体验中。

论文：HawKEY:Eicient and Versatile Text Entry for Virtual Reality提供了一种方案：在用户的胸前上悬挂一个托盘的结构，将键盘放置在胸前的托盘上，同时在头盔上粘贴一个深度相机，在用户低头时对键盘进行视频拍摄，并投影到虚拟环境中，帮助用户在虚拟环境中使用实体键盘。

该方式利用深度相机同时获取深度信息和视频信息导致运算量较大，对设备的运算能力要求较高，一般移动设备很难满足。同时，现有的移动设备并没有提供与深度相机的接口，而移动设备上很少有装载深度相机，即便有少数的手机安装了深度摄像头，但其精度也达不到专业深度相机的要求。同时，将相机粘贴在头盔上增大的头盔的重量导致头部负担变重，将托盘通过吊带悬挂在脖子上，也增加了脖子的负担，这样严重影响了用户的舒适度。

因此目前亟需一种适用于移动设备处理速度的，且不影响用户舒适度键盘系统。

发明内容

有鉴于此，本发明提供了用于移动设备的虚实融合键盘系统和方法，数据处理量小，适用于移动设备的处理速度，且移动设备与虚拟现实显示设备分立设置，不影响用户舒适度。

为达到上述目的，本发明的技术方案为：用于移动设备的虚实融合键盘系统，包括实体键盘、移动设备以及融合显示模块。

移动设备具有视频捕捉模块和图像转化模块；移动设备固定在实体键盘的上方设定位置处，移动设备与实体键盘的位置关系为：实体键盘处于视频捕捉模块的视场范围内；图像转化模块，用于将视频捕捉模块所捕获的实体键盘的实时场景图像转换为以用户人眼为视角的键盘虚拟图像；