[发明专利]一种基于虚拟现实的文物交互系统及操作方法

说明书

【技术领域】

本发明属于人机交互技术领域，具体涉及一种基于虚拟现实的文物交互系统及操作方法。

【背景技术】

现今博物馆普遍存在一种现象：历史文物资料记载虽然完备，但人们在游览的时候却无法进行翻阅了解；历史文物放在展柜进行展览的模式，让人与历史文物之间产生一种很强的距离感，这让人们直观了解文物历史存在困难。上述问题一直未得到很好的解决，同时，新兴的科技博物馆却因其互动性强、科技色彩浓厚，吸引了越来越多的人，人们发现在人机互动的情况下，不但可以真正把自己融入进去了解知识，还不会产生传统历史博物馆带来的隔阂感。

目前人们提出的方案，一种是对博物馆文物进行三维成像，给用户展现虚拟场景；一种是将博物馆文物信息进行数字化展示，将文物等形成图文知识展现给用户；这些方案要么专注于用户的体验效果，以渲染场景气氛为主旋律，偏离文物主体；要么罗列文物知识，毫无互动感，无法引起人们共鸣。

人们对文物本身的专注是当今博物馆交互系统未能满足的，博物馆的真正意义是呈现历史，解决人们无法近距离接触历史文物的问题才是我们提出本文物交互系统的出发点。

【发明内容】

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供了一种基于虚拟现实的文物交互系统及操作方法，解决人们无法近距离接触历史文物的问题。

本发明采用以下技术方案：

一种基于虚拟现实的文物交互系统，包括摄像头、人机交互单元和显示单元，所述摄像头设置在所述人机交互单元的下部，用于采集用户的手势动作，所述人机交互单元包括手势识别单元和效果匹配单元，所述手势识别单元用于识别人体的手势动作并发送给所述效果匹配单元，所述效果匹配单元根据所述手势动作生成控制效果，对文物进行虚拟控制并将结果传输至所述显示单元。

进一步的，所述手势识别单元包括数据预处理单元和预测单元，所述数据预处理单元将所述摄像头采集的手势动作视频数据进行处理后发送给所述预测单元，所述预测单元接收处理后的所述视频数据进行手势预测。

进一步的，所述显示单元采用头戴式VR眼镜。

进一步的，所述摄像头、人机交互单元与所述VR眼镜为一体式结构。

一种基于虚拟现实的文物交互系统的控制方法，包括以下步骤：

S1、摄像头采集用户的手势动作视频数据，并将视频数据传输至人机交互单元；

S2、数据预处理单元对所述视频数据进行预处理，再将处理过的数据送入预测单元进行手势判断；

S3、效果匹配单元根据预测的所述手势类型匹配对应的控制效果，使文物产生相应变化效果；

S4、将步骤S3产生的效果传输至显示单元并以虚拟现实的方式呈现文物变化效果。

进一步的，步骤S2中，采用深度递归神经网络进行手势识别，使用预先标定好的手势视频集当作训练数据进行网络参数训练，然后将训练好的网络模型和参数保存至预测单元；在进行实际使用时，数据预处理单元首先对摄像头传来的视频按帧取数据，进行去噪和下采样处理，再将处理过的数据送入预测单元，预测单元使用预训练好的模型和参数进行手势预测，从而识别出当前手势类型。

进一步的，所述控制效果包括放大效果、缩小效果、旋转效果，查看内部结构效果，浏览历史记载效果和文物制作流程效果。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于虚拟现实的文物交互系统，通过在人机交互单元上设置摄像头实时采集用户的视频数据，经过手势识别和效果匹配后，将结果传输至显示单元对文物进行虚拟控制实现交互，将当下最流行的手势识别技术与虚拟现实技术结合起来，提供了一种更加具有“沉浸式”的用户体验。

进一步的，摄像头、人机交互单元和显示单元为一体机式结构，用户无需其余设备即可使用，易于携带、操作简单、设备价格低廉，方便个人用户使用。

本发明还提供一种基于虚拟现实的文物交互系统的控制方法，以文物为主体，通过人机交互单元和显示单元，让用户通过控制文物模型看到文物细节，了解历史知识，又不失娱乐性，通过深度递归神经网络的方式实现手势识别，使得手势识别的抗干扰性得到很大提高，通过深度网络的训练改善了复杂环境下的识别率。

进一步的，预测单元通过调用提前训练好的网络模型和参数对视频流数据进行处理，可以直接得到视频中手势类别。流程简单，预测准确率高

进一步的，本发明围绕现有博物馆存在的问题，摒弃现有的博物馆交互系统注重历史情境渲染、单一罗列历史知识等问题，让用户对历史文物进行深入了解，易于推广使用。