[发明专利]一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法

说明书

本发明公开一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法，包括以下步骤：(1)总结出基于沉浸式虚拟现实中的古琴体验模块层次及虚拟场景设定；(2)比照实体古琴，完成样式择选，进行优化建模，获得古琴的三维模型；(3)结合Leap Motion开发，以手势动画引导完成曲目弹奏体验，以Leap Motion所识别的手指触弦先后顺序判断每首曲目的跟奏正确率并给予体验者反馈；(4)设计引导交互及模块讲解展示动画；(5)创建体验的虚拟环境，设置贴图、光源及音效效果；(6)在Unity 3D中设定交互体验系统与用户之间的交互功能；(7)设置虚拟现实接口，通过HTC Vive VR头盔、Leap Motion及实体古琴实现沉浸式虚拟古琴演奏多通道交互弹奏体验。

技术领域

本发明涉及乐器虚拟体验与模拟实践教学领域领域，特别是涉及一种沉浸式虚拟古琴演奏多通道交互体验系统的设计方法。

背景技术

虚拟现实(Virtual Reality,简称VR)，是极具拓展性的前沿交叉学科，它通过计算机仿真技术与计算机图形学、人机接口技术、传感技术、多媒体技术相结合，生成一种融合多源信息的高可信度的三维立体动态虚拟情景。虚拟现实技术开发主要涉及到四个研究领域：虚拟情境的实现，通过计算机图形技术完成实时动态的三维立体图像^[1]；人机交互模式设计，建立用户输入数据和系统输出反馈的双向通道；传感设备的应用，设定诸如VR手柄等三维交互设备的功能；感知系统的构成，在基于计算机图形生成的视觉感知外，还应对听觉、触觉、嗅觉等感知系统上延伸开发。

多通道人机交互(Multi-modal Human-Computer Interaction)技术，是一种对输入、输出通道的综合使用，也是对传递方式和服务的最恰当应用以满足用户需求的一种手段，多通道交互同时具备实现多设备协同和跨设备场景迁移的价值特征^[2]，并极大追求交互的自然性、高效性及多感觉和效应通道响应的双向性；多通道交互技术以多媒体、虚拟现实、眼动追踪、手势识别、三维输入、表情识别、手写识别、数字墨水等技术为媒介，综合运用以完成整套多通道交互系统的开发^[3]。手势识别作为一种重要交互手段，通过计算机视觉，识别用户的手部动作，从而实现与虚拟物体的交互，Leap Motion是时下较为普遍的交互应用设备，该设备早期定位于桌面计算平台，是一种鼠标交互输入方式的替代方案，伴随着VR技术的兴起，现逐渐过渡到为VR硬件设备提供手势识别，Leap Motion可以实现非常精确且低延时的手部动作数据追踪记录，使用户以更加接近自然的手势输入与虚拟物体进行交互。

本课题主要以沉浸式虚拟现实技术为主要开发媒介，结合手势识别、三维扫描等多通道交互组件的研究使用，搭建出一套提供给广大一般用户使用的关于古琴弹奏的VR体验系统。

VR技术诞生伊始就引起了全世界的广泛关注，美国率先将航天、军事、生物、高教、医疗、建筑、仿真等领域结合VR进行创新性开发^[4]，其也代表着当今国际虚拟现实发展的最高水平。我国的虚拟现实技术起步相对较晚，但随着我国计算机图形学相关专业的飞速发展和国内自然科学基金会的大力投入，VR技术在中国的发展也得到了长足的保障^[5]，在紧跟国际新技术的同时，国内的一些科研单位和文博展馆也已积极投入这一领域工作，如故宫博物院“端门数字馆”：其通过精心采集的高精度文物数据，结合严谨的学术考证，引领观众走进故宫内的“数字建筑”、触摸“数字文物”。通过巨型虚拟现实剧场的搭建让游客探索古建、文物本身固有的特性与内涵，获得比参观实物更丰富有趣的体验；围绕秦始皇帝陵兵马俑为主题，以虚拟现实技术作为观览拓展工具，推动有关秦帝陵题材的VR探险类游戏、考古现场VR体验和基于秦青铜马车的VR组装系统等相继开发完成，为秦帝陵相关历史知识的传播插上数字化的双翼；湖南省博物馆也于2018年成为了数字展示研究国家文物局重点科研基地，并一直致力于文博展示的数字化创新引领，其运用多通道投射实体表面成像的展示方式将马王堆汉墓的瑰丽华伟以数字化的手段呈现，让观众获得深入体验的同时获取更多知识！