[发明专利]一种VR语音交互系统及其交互方法

说明书

本发明实施例公开了一种VR语音交互系统及其交互方法，涉及虚拟现实技术领域。所述VR语音交互系统包括VR终端设备、VR控制器和云端处理模块，所述VR终端设备通过无线网络与云端处理模块进行通讯，所述VR控制器通过蓝牙与VR终端设备进行数据传输，所述云端处理模块包括彼此之间进行数据传输的VR数据库、语音识别模块、交互控制模块和合成模块。本发明能够解决现有VR应用在语音方面的交互性较差的问题，具有很强的沉浸感和代入感。

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种VR语音交互系统及其交互方法。

背景技术

VR技术是人类视觉交互技术上的重大突破，人类认知世界不再受“眼见为实”的限制。近年来Google,Facebook等平台厂商和高通等芯片厂商持续推动VR设备的普及，VR技术在视频，教育，旅游等各行业得到越来越深入的应用。VR技术相对传统的PC和手机最大的特点是沉浸感。从物理心理学的角度，沉浸感来自三个方面：3D场景带来的视觉真实性；用户自身代入感的真实性；用户和虚拟世界交互的真实性。

然而，目前市场中的VR应用以视频播放、VR控制手柄点选和射击类游戏居多，由于用户佩戴VR头盔后隔离了手眼视觉协调，相比传统的键盘、鼠标和触屏操作，VR应用的输入受到很大限制，影响了VR的交互性。

发明内容

本发明的目的在于提供一种VR语音交互系统及其交互方法，用以解决现有VR应用再语音方面的交互性较差的问题。

为实现上述目的，本发明实施例提供一种VR语音交互系统，所述VR语音交互系统包括VR终端设备、VR控制器和云端处理模块，所述VR终端设备通过无线网络与云端处理模块进行通讯，所述VR控制器通过蓝牙与VR终端设备进行数据传输，所述云端处理模块包括彼此之间进行数据传输的VR数据库、语音识别模块、交互控制模块和合成模块。

作为优选的技术方案，所述VR终端设备具有多种设备形态，包括VR一体机或VR眼镜与计算机组合设备或VR眼镜与手机终端组合设备。

作为优选的技术方案，所述VR终端设备包括互相通信的处理器、语音采集模块和语音存储模块，所述处理器包括中央处理器和图形处理器。

提供一种VR语音交互系统的交互方法，所述交互方法包括：启动VR终端设备将VR数据库中的虚拟人物和内容加载至虚拟空间；操作者手持VR控制器，通过按住VR控制器上的虚拟按键，开始语音输入；语音采集模块对语音信息进行采集并存储在语音存储模块中；操作者松开VR控制器上的虚拟按键，结束语音输入；云端处理模块对语音存储模块中的语音进行识别、交互和合成并生成反馈信息；云端处理模块将反馈信息发送至VR终端设备；VR终端设备根据反馈信息控制虚拟人物向操作者完成语音和表情反馈。

作为优选的技术方案，所述交互方法还包括：所述VR控制器通过蓝牙将虚拟按键的动态信息传输给中央处理器，所述中央处理器通过对虚拟坐标的检测和有限状态机的变换生成控制事件，再通过控制事件驱动系统中麦克风的开启和关闭，进而实现语音信息传输的开始和结束。

作为优选的技术方案，所述中央处理器根据语音信息的输入状态和接收时间实现人机对话的话轮控制逻辑，包括人机对话中的抢话机制。

作为优选的技术方案，所述云端处理模块的合成模块对语音信息的语气和内容进行合成后与VR数据库中相对应的语气和内容进行比对，最终生成符合情景的对话语音内容和虚拟人物表情反馈信息，最后传输给VR终端设备。

作为优选的技术方案，所述VR终端设备接收到对话语音内容和虚拟人物表情反馈信息后，通过中央处理器和图形处理器的处理控制虚拟人物实现对应语音内容和表情的展现。

本发明实施例具有如下优点：

(1)本发明能够使用户在VR内自由发起语音输入，效率高；