[发明专利]VR环境中裸手与模拟触控屏界面的交互操作系统及方法

权利要求书

1.一种VR环境中裸手与模拟触控屏界面的交互操作系统，其特征在于，所述交互操作系统包括：触发器、模拟触控屏界面、视觉追踪单元和中控单元；

所述视觉追踪单元对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的所述触发器；

所述模拟触控屏界面在VR环境中构造，用于根据接收到的控制消息进行UI界面元素的显示；

所述中控单元检测到所述触发器与所述模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给所述模拟触控屏界面。

2.根据权利要求1所述的交互操作系统，其特征在于，所述视觉追踪单元通过视觉算法对操作者的指尖位置进行追踪识别，包括：

通过视频采集单元采集所述操作者手部的图像帧数据，并基于目标跟踪模型对所述图像帧数据进行指尖位置的目标检测跟踪识别。

3.根据权利要求1所述的交互操作系统，其特征在于，所述触发器还包括实体结构，包括：惯导定位系统和无线信号发送模块；

所述惯导定位系统采集所述触发器的空间姿态数据和加速度数据，发送给所述视觉追踪单元，所述视觉追踪单元基于所述空间姿态数据和加速度数据得到所述触发器在实际环境中的运动轨迹后，换算后得到所述触发器在VR环境中的运动轨迹。

4.根据权利要求1所述的交互操作系统，其特征在于，所述中控单元检测所述触发器与所述模拟触控屏界面是否有交集的过程包括：

针对每一个渲染帧，对所述触发器和所述模拟触控屏界面的触控区域进行碰撞检测，检测到有碰撞时判定所述触发器与所述模拟触控屏界面有交集。

5.根据权利要求1所述的交互操作系统，其特征在于，所述中控单元确定所述触发器与所述模拟触控屏界面的交集的位置的过程包括：计算所述触发器到所述模拟触控屏界面的平面的垂足，计算该垂足在所述模拟触控屏界面的相对坐标。

6.根据权利要求1所述的交互操作系统，其特征在于，所述中控单元内部存储有所述模拟触控屏界面在各个界面的各个区域范围对应的控制消息，所述中控单元根据所述相对坐标所属界面和区域范围，将对应的控制消息发送给所述模拟触控屏界面。

7.一种VR环境中裸手与模拟触控屏界面的交互操作方法，其特征在于，所述交互操作方法包括：

在VR环境中构造模拟触控屏界面；

对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的触发器；

检测到所述触发器与所述模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给所述模拟触控屏界面；

所述模拟触控屏界面根据所述控制消息进行UI界面元素的显示。

8.根据权利要求1所述的交互操作方法，其特征在于，在VR环境中构造模拟触控屏界面之后还包括：

控制所述模拟触控屏界面向操作者展示校准页面；

操作者通过指尖上的所述触发器触控所述校准页面的指定区域，在设定时长后通过采集的所述触发器的位置进行初始位置校准。

9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求7或8所述的VR环境中裸手与模拟触控屏界面的交互操作方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求7或8所述的VR环境中裸手与模拟触控屏界面的交互操作方法的步骤。