[发明专利]一种6维度感官交互的虚拟乐器系统及其实现方法

说明书

技术领域

本发明涉及一种乐器，具体涉及一种6维度感官交互的虚拟乐器系统及其实现方法。

背景技术

乐器受到很多音乐爱好者的喜爱，但是现在使用的传统乐器体积庞大，价格昂贵，而且只能实现视觉，听觉和触觉感受，达不到多维度交互的效果，因此，设计发明如何利用电子设备产生的虚拟乐器就十分有必要。虽然在手机，平板，PC机上也有一些相关的应用可以实现虚拟乐器，但是大多是很简单的设计，即屏幕上出现乐器器件，直接用手指去触碰，然后发出相应的声音，其使用效果甚至远远不如现实中的乐器。于是开发一种可以实现6维度感官虚拟交互的虚拟乐器系统十分有必要，这种系统具有功能更加强大，更能体现真实的虚拟交互效果，使用更加方便，外形更加精巧，造价更加低廉的特点。

发明内容

本发明的目的在于针对现有乐器和一些通过电子设备实现的虚拟乐器的不足，提供一种基于6维度感官技术实现人与虚拟乐器进行人机交互的系统和方法。本发明不但可以提供给用户3D视觉感知，而且可以增加更多的听觉和触觉的感观体验，以及主动参与、互动虚拟现实的多重体验。

本发明采用如下的技术方案：

一种6维度感官交互的虚拟乐器系统，所述的6维度感官是3D视觉感知、听觉感知、接触觉感知、压力觉感知，所述的系统包括3D摄像装置、人体辅助装置、3D投影装置和信号处理单元。

所述的3D摄像装置用于跟踪人体动作并且识别当前人体部位与虚拟乐器的空间位置及关系，将获得的光学信息转换为信号，并发送到信号处理单元；所述的人体辅助装置用于采集人体的声音信息、接触觉信息、压力觉信息，并将上述信息转换为信号发送到信号处理单元；所述的信号处理单元接收从人体辅助装置和3D摄像装置发送的信号并且进行处理，将已经处理的信号输出到人体辅助装置和3D投影装置；人体辅助装置接收信号处理单元输出的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的3D投影装置接收信号处理单元输出的信号并将其转换为3D视觉感知信息。

所述的接触觉感知是指，当人接触到物体的时候，产生的一种与物体相接触的感觉，这种感觉是人体感觉到物体存在的一种触觉感知。在这里是指当人接触到投影出来的虚拟乐器时，感受到的虚拟乐器的存在。例如，当虚拟乐器是钢琴时，所述的接触觉感知就是触摸真实的钢琴键的感觉；当虚拟乐器是吉他时，所述的接触觉感知就是触摸真实的吉他弦的感觉。

所述的压力觉感知是指，当人与物体接触时，由于人对物体的按压动作和移动速度使得物体对人进行反作用，而使人体感受到压力的一种触觉感知。在这里是指当人弹奏虚拟乐器时，虚拟乐器给予人的压力反馈。

所述的人体辅助装置用于采集人体发出的声音信息、接触觉信息、压力觉信息，并将其转换为信号发送到信号处理单元；还能够接收信号处理单元输出的信号并将其转换为听觉感知信息、接触觉感知信息、压力觉感知信息；所述的听觉感知信息包括虚拟乐器对应的声音和系统提示信息；例如，虚拟乐器为钢琴时，人体辅助装置能发出钢琴的声音。所述的系统提示信息包括当前系统的工作状态和对使用者的评价；例如，虚拟乐器为钢琴时，使用者弹奏钢琴的时候，人体辅助装置发出声音，说明当前音量大小，工作模式等工作状态；使用者弹完之后，人体辅助装置发出声音，评价使用者弹奏水平的高低。所述的虚拟乐器的声音信息存储在信号处理单元中。

所述的人体辅助装置包含信息采集模块和信息输出模块；所述的信息采集模块包括触觉传感器和声音传感器；所述的信息输出模块包括声音发生器和触觉发生器。所述的触觉传感器是将接触觉信息和压力觉信息转换为电信号的装置；所述的声音传感器是将声音信息转换为电信号的装置；所述的触觉发生器是将电信号转换为接触感和压力感的装置；所述的声音发生器是将电信号转换为声音的装置。

所述的人体辅助装置样式可以是套状物（如手套、脚套、头套等）、垫状物（如触摸垫、腕垫等）、形成封密环或半封密环带状物（如手带、脚带、腰带、腕带等）、可贴于皮肤表面的贴片等。

例如，幽灵手套可以采集人体肘部的接触觉信息和压力觉信息，并且可以反馈给人相应的压力。

钢琴手套（Piano Hands）具有发声效果，戴着它在任何的平面上敲击，手部则会将这种敲击转换成钢琴的声音播放出来。

集成上述两种手套功能的装置满足本发明所述的人体辅助装置的功能要求。