[发明专利]三维虚实融合实验系统

说明书

本发明公开了一种三维虚实融合实验系统，包括物体追踪装置，用于识别真实实验物体的类型，并实时定位真实实验物体的三维空间坐标，得到真实实验物体的类型及其对应的实时三维空间坐标；手部追踪装置，用于识别操作手部的关节点，并实时定位操作手部关节点的三维空间坐标，得到操作手部关节点的实时三维空间坐标；虚实融合处理装置，用于根据真实实验物体的类型及其对应的实时三维空间坐标、以及操作手部关节点的实时三维空间坐标生成对应的虚实融合影像。本发明充分利用虚实融合技术的优势，将虚拟物体与真实实验物体相融合，实现用户在自然地移动真实实验物体的同时可实时追踪，培养用户实验操作能力及学习兴趣，降低实验的危险性。

技术领域

本发明涉及虚实融合技术领域及教育领域，尤其涉及一种可将三维虚实融合进行自然交互的实验操作平台。

背景技术

随着计算机技术的进步，虚实融合技术开始不断发展，其应用场景也越来越广泛。虚实融合通常分为两个部分：首先是虚拟仿真，具体根据设定参数与方法对应模拟并生成三维虚拟场景与现象；其次是三维注册，具体根据显示器位置以及场景中实际物体的位置计算虚拟场景与真实场景的位置关系，并将两者进行叠加与融合。虚实融合技术可以将虚拟场景的视觉通道与真实场景的视觉或触觉通道相结合，在保留虚拟场景的沉浸感的同时，为用户带来较为真实的操作与交互体验。

近些年，该种技术开始部分应用于教育领域，并应用于中学实验场景的模拟种。现有开发的PhET互动仿真系统，主要是使用虚拟仿真技术对初高中实验进行模拟，并对其进行可视化；而现有开发的NOBOOK系列虚拟实验产品，则主要是将课程标准中的实验转化为了虚拟实验，供学生使用；上述产品和系统仍需要使用电脑与鼠标进行二维实验操作。再一种现有的Labster则是将虚拟现实引入科学实验中，具体用户可以使用头戴式或手持式显示设备观看虚拟实验，并使用手柄、点击按钮等外设设备进行交互操作。与传统课堂教育相比，上述产品系统可以将抽象知识直观化，增强学生的学习兴趣的同时加深学生的理解；进一步还降低了实验门槛，减少了试剂和材料的消耗，并大大减轻实验危险性。

然而上述产品或系统并未充分发挥虚实融合的特点，上述实例大多关注虚拟仿真部分，而忽视了三维注册部分的重要性，缺少三维注册部分，用户与实验的交互操作仍需借助传统的鼠标或手柄外设，无法达到自然地交互的目的；因此上述产品或系统并不适用于交互较多的中学实验场景中，不适合培养学生的实验操作能力与实验操作规范意识。

发明内容

本发明所要解决的技术问题是现有应用到教育领域的虚实融合实验产品或系统，用户与实验的交互操作仍需借助传统的鼠标或手柄外设，无法达到自然地交互的目的，不适合培养学生的实验操作能力与实验操作规范意识。

为了解决上述技术问题，本发明提供了一种三维虚实融合实验系统，包括虚实融合处理模块以及分别与所述虚实融合处理模块连接的物体追踪装置和手部追踪装置；

所述物体追踪装置，用于识别真实实验物体的类型，并实时定位所述真实实验物体的三维空间坐标，得到所述真实实验物体的类型及其对应的实时三维空间坐标；

所述手部追踪装置，用于识别操作手部的关节点，并实时定位所述操作手部关节点的三维空间坐标，得到所述操作手部关节点的实时三维空间坐标；

所述虚实融合处理装置，用于根据所述真实实验物体的类型及其对应的实时三维空间坐标、以及所述操作手部关节点的实时三维空间坐标生成对应的虚实融合影像。

优选地，还包括分别与所述物体追踪装置和虚实融合处理模块连接虚拟数据存储装置，

所述虚拟数据存储装置，用于为所述物体追踪装置提供标准三维物体的模型信息和图片信息，并为所述虚实融合处理模块提供虚拟内容信息。

优选地，所述物体追踪装置包括相连的第一图像-深度相机组和物体追踪服务器；