[发明专利]一种虚实结合的交互式输入方法、装置和存储介质

说明书

本发明公开了一种虚实结合的交互式输入方法，包括：确定第一目标对象在实体空间中的位置，确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，确定在虚拟空间中的第一目标对象对应的第二位置区域；获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。本发明还公开了一种虚实结合的交互式输入装置和存储介质。

技术领域

本发明涉及虚拟现实技术，尤其涉及一种虚实结合的交互式输入方法、装置和计算机可读存储介质。

背景技术

虚拟现实(VR，Virtual Reality)是一种可以创建和体验虚拟世界的计算机系统。它利用计算机技术生成一个逼真的，具有视、听、触等多种感知的虚拟环境，用户通过使用各种交互设备，可以同虚拟环境中的物体互动。简单讲，虚拟现实利用计算机图形技术创建一个虚拟的三维空间，并提供方法让用户置身于虚拟世界里，如同身历其境一般。

虚拟现实技术具有四大特征，分别是多感知性、存在感、交互性和自主性。多感知性指的是视觉感知、听觉感知、力觉感知、触觉感知、运动感知、味觉感知等，是虚拟世界带给“身处其中”的用户的各种感知信号。存在感又称临场感，是用户感到作为主角存在于虚拟环境中的真实程度。交互性是指用户对虚拟环境内物体的可操作程度和从环境得到反馈的自然程度。自主性指虚拟环境中物体依据物理定律自主产生动作的程度。其中，交互性是虚拟现实技术的一项重要特性，甚至很多人将虚拟现实技术定义为一种人机交互技术。交互包括操作虚拟环境中的物体和从虚拟环境得到反馈两部分，也就是输入和输出，而输入是用户与虚拟环境进行交互的前提，是虚拟现实系统必不可少的一项功能。

虚拟现实头盔，也被称为VR头盔、VR头显、VR眼镜、Head-mounted Display(HMD)等，是一种利用头戴式显示器将人对外界的视觉封闭，通过位于人眼前面的屏幕和光学系统将计算机生成的虚拟场景影像投射到人眼的装置。虚拟现实头盔是目前采用比较广泛的一种虚拟现实显示设备，用户佩戴虚拟现实头盔可以获得较好的沉浸感。目前市场上虚拟现实头盔的品牌众多，比较知名的有HTC Vive、Oculus、SONY、SAMSUNG、大朋DeePoon等。

最常采用的与虚拟现实头盔配套的输入或交互设备是VR手柄。手柄上往往集成了多个定位器、触摸面板、扳机和按键等，用户手持手柄可以轻松完成定位、选择、拾取、移动等操作。除手柄外还可以采用深度相机(如Kinect)或体感控制器(如Leap motion)识别手部动作并对手的位置进行跟踪定位。虚拟现实场景中也会经常需要输入文字、字符或符号等，也就是在现实世界中通常由键盘完成的输入操作。但是目前存在的模拟键盘输入的方法在交互性、输入速率、准确度等方面都存在一定的问题。

目前，虚拟现实系统中最常见的键盘输入方法包括：在虚拟场景中生成一个虚拟键盘，通过VR手柄的射线功能瞄准键盘按键，然后按下手柄按键完成虚拟键盘的一个敲击动作。这种方式的主要问题是在保持同等输入准确度的情况下，极大地降低了键盘输入的速率，因为它的输入动作与现实中键盘的输入动作完全不同，无法发挥用户积累的键盘操作经验。另一方面，它的操作过程相比现实键盘的敲击过程复杂，需要系统中不同部件的联动，限制了键盘输入的最高速率，用户只能一个个敲打虚拟键盘上的字符，无法像现实中那样流畅。而且该种输入方式操作不方便，降低了键入准确度。为了提高键盘输入正确率，减少重新输入的次数，很多系统添加了自动矫正功能，虽然在一定程度上改善了键盘输入的操作难度，但仍然无法与现实中用户使用键盘的体验相比。

但当采用虚拟现实头盔作为显示设备时，头盔遮挡了用户的视线，使得用户无法看到真实的键盘。而现有的键盘输入方式降低了输入的速度和准确率，影响了操作的便捷性和舒适感。

发明内容