[发明专利]面向中学实验的投影式实物交互桌面系统和方法

说明书

本发明公开了一种面向中学实验的投影式实物交互桌面系统和方法，其中系统包括：桌面；实物对象，根据实验内容3D打印获得，置于桌面上；3D体感摄影机，实时拍摄实物对象的深度图像，并将深度图像传输给计算机；计算机，根据实验内容构建虚拟实验场景，调整虚拟相机的内外参数，实时通过所述的深度图像识别实物对象的位姿，实时调整虚拟实验场景的位姿与实物对象进行配准；投影仪，实时将调整后的虚拟实验场景投射至桌面，实现虚实融合呈现。本发明的系统支持实物对象的实时交互以及虚实融合投影显示。

技术领域

本发明涉及空间增强现实技术领域，尤其涉及一种面向中学实验的投影式实物交互桌面系统和方法。

背景技术

部分微观或者宏观实验现象超出人类视觉范围，难以在实验中呈现。因此，虚拟现实(Virtual Reality)和增强现实(Augmented Reality)技术被广泛应用于实验教学，它的优势在于将难以观察的事物或者现象在虚拟环境或者真实环境中展示出来，使一些抽象的内容形象化，无法呈现的内容变得可视化。

虚拟现实和增强现实技术将教学内容融入互动媒体，每个学习者在使用的过程中都会因为交互方式的不同而有不一样的学习过程。虚拟现实和增强现实式实验教学以交互方式的不同主要分为三大类，分别是桌面键鼠交互、VR手柄交互、交互件重定位交互。

桌面键鼠交互式的实验教学是学生通过浏览器验证登录到网上进入三维虚拟实验室中，使用鼠标、键盘等输入设备实现虚拟实验的交互(参考文献：吕琼，李锐.基于Web的虚拟力学实验室系统的研究与实现[J].电脑知识与技术，2009，5(11))。这种方式缺乏真实实验的操作感；VR手柄交互式实验教学即是学生通过头戴虚拟头盔完全沉浸在虚拟的环境中进行实验的操作，通过手柄进行交互，这种交互方式并非真实场景中的交互，与真实实验的操作是不吻合的；交互件重定位交互方式是通过把人工标志物的位姿赋予虚拟对象(参考文献：AzmandianM，Hancock M，Benko H，et al.Haptic Re-targeting：DynamicRepurposing of Passive Haptics for Enhanced Virtual Reality Experiences[C]//the 2016 CHI Conference.ACM，2016.)、这种方式的实验教学是基于学生接触的真实环境叠加一些虚拟场景，构建了一个虚实结合，三维沉浸的新环境，学生通过手机、平板或者头盔等屏幕设备即可做到真实场景和虚拟对象的融合互动，尽管通过屏幕查看数字元素很方便，但它在视场上造成了重要的限制，使得学生的交互操作与视觉呈现处于分离状态，显然这种方式应用起来并不灵活，同时这些设备的持有一定程度上影响了用户的体验感和沉浸感。

发明内容

本发明提供了一种面向中学实验的投影式实物交互桌面系统，该桌面系统支持实物对象的实时交互以及虚实融合投影显示。

具体技术方案如下：

一种面向中学实验的投影式实物交互桌面系统，包括：

桌面；

实物对象，根据实验内容3D打印获得，置于桌面上；

3D体感摄影机，实时拍摄实物对象的深度图像，并将深度图像传输给计算机；

计算机，根据实验内容构建虚拟实验场景，调整虚拟相机的内外参数，实时通过所述的深度图像识别实物对象的位姿，实时调整虚拟实验场景的位姿与实物对象进行配准；

投影仪，实时将调整后的虚拟实验场景投射至桌面，实现虚实融合呈现。

本发明的面向中学实验的投影式实物交互桌面系统可以增强显示实体实验中难以呈现的客观现象，既保留了原有实验的操作感，又达到了基于现实超越现实的体验效果。

所述的桌面要平整并无高光反射。

所述的3D体感摄影机为Kinect V2.0。