[发明专利]一种立体虚拟培训系统和方法

说明书

技术领域

本发明涉及立体显示技术，尤其涉及立体虚拟交互的方法以及系统。

背景技术

目前的人机交互式系统的各种解决方案大都是基于2D显示的基础之上的，也就是说，用户操作所带来的直接显示效果是以2D来展现的。更进一步，采用阴影，近大远小等透视效果来近似模拟一种立体的感觉。

随着3D显示技术的发展，这种基于2D的显示界面将带来一系列的不符合现实的操作习惯。因为3D带给操作者的直观显示效果是，所有的操作界面是凸出，或者，凹进屏幕的。目前比较普遍的触摸屏的手指或者操作笔都只能在屏幕上进行二维的操作，对于真正的3D操作界面，浮在空中或者凹进屏幕的界面，这种传统的方式都会让操作者感觉并没有真正触摸到实际的界面。

这些问题在传统的虚拟仿真系统上可能会更多地体现出来，如用于各种行业的虚拟训练系统，包括在医疗领域、交通领域、远程教育等领域。现有的技术在这些领域中往往缺乏一个真正意义上的3D现实感。

本发明所公开的方法和系统可以用来解决上述的一个或多个问题以及其它相关的问题。

发明内容

本发明要解决的技术问题是提供一种可以结合立体显示来进行操作的立体虚拟培训系统和方法。

为了解决上述问题，本发明提供了一种用于3D虚拟训练系统的方法，该3D虚拟训练系统包括一个3D显示屏和一个操作装置，该方法包括：

初始化一个虚拟医疗训练课程并由所述3D显示屏显示，显示内容至少包括手术部位的3D虚拟图像;

获得基于操作装置和3D显示屏的用户交互输入，在3D显示屏上显示出虚拟手术装置及由虚拟手术装置对手术部位进行的虚拟手术操作;

根据用户交互输入和手术部位来确定一个操作结果;

根据手术部位和虚拟手术操作的效果来渲染操作结果;

由3D显示屏显示经渲染的操作结果的3D虚拟图像。

其中，所述获得基于操作装置和3D显示屏的用户交互输入的步骤包括：

配置操作装置的操作模式，从而调整3D显示屏上显示的虚拟手术装置的形状、类型、和大小中的至少一个。

其中，所述获得基于操作装置和3D显示屏的用户交互输入的步骤包括：

确定操作装置和3D显示屏之间的接触点的空间位置;

确定操作装置的空间操作角度;

确定操作装置的旋转操作。

其中，所述获得基于操作装置和3D显示屏的用户交互输入的步骤还包括：

感测在操作装置和3D显示屏幕之间的接触点的接触力;

根据接触力计算出操作装置相对于3D显示屏的回缩程度。

其中，所述获得基于操作装置和3D显示屏的用户交互输入的步骤还包括：

设置所述接触力的阈值；

当所述接触力高于所述阈值时，在3D显示屏上显示基于回缩程度的所述虚拟手术装置。

其中，所述获得基于操作装置和3D显示屏的用户交互输入的步骤包括：

根据操作装置的一个或多个预定区域的力反馈来控制虚拟手术装置的操作方式或操作力强度。

其中，所述根据手术部位和手术操作的效果来渲染操作结果的步骤包括：

根据手术部位来确定虚拟手术操作的显示场景的缩放因子;

利用缩放因子来控制显示场景和/或虚拟手术装置的放大或缩小操作，使得所述虚拟手术装置和显示场景相匹配。

其中，所述根据用户交互输入和手术部位来确定一个操作结果的步骤包括：

基于用户交互输入确定虚拟手术装置的空间位置;

确定对应虚拟手术装置的手术部位的空间位置;

对比虚拟手术装置的空间位置和对应的手术部位的空间位置；

基于对比结果触发一个操作事件；

确定由所述操作事件引起的操作结果。

本发明还提供了一个3D虚拟训练系统，包括：

一个3D显示屏;

一个3D系统控制器;

一个耦合到3D系统控制器并交换交互数据的操作装置，

所述3D系统控制器包括：图像数据模块、虚拟操作模块、3D显示模块、以及控制模块，其中：

图像数据模块，用于初始化一个虚拟医疗训练课程并在显示模块的控制下由3D显示屏显示，显示内容至少包括手术部位的3D虚拟图像;