[发明专利]一种虚拟现实多人交互协作方法与系统

说明书

本发明涉及虚拟现实技术领域，具体涉及一种虚拟现实多人交互协作方法与系统，该多人交互协作方法基于红外线光幕组实现用户三维姿态数据的采集，基于面目表情识别模块实现用户面部表情的采集，基于姿态采集地垫实现用户行走方向及行走方式的采集，并将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上。本发明可以实现用户姿态、动作、面目表情、用户行走方向及行走方式、手部动作的实时捕捉和快速识别、映射，在可以提高系统实时性的同时，可以提高系统的逼真度，提高用户体验感。

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种虚拟现实多人交互协作方法与系统。

背景技术

随着虚拟现实和互联网技术的发展，为了满足地理上广为分布的不同计算终端之间的交互需求，分布式虚拟现实(Distributed Virtual Reality，DVR)，又称分布式虚拟环境(DVE，Distributed Virtual Environments)应运而生。

目前，虚拟现实的多人交互仍然存在以下问题：虚拟现实交互细节处理较为粗糙，数据处理效率性较差，影响实时性，进而影响用户体验。

发明内容

为解决上述问题，本发明提供了一种虚拟现实多人交互协作方法与系统，可以实现用户姿态、动作、面目表情等的实时捕捉和快速识别、映射，从而提高系统的实时性，提高用户体验感。

为实现上述目的，本发明采取的技术方案为：

一种虚拟现实多人交互协作方法，基于红外线光幕组实现用户三维姿态数据的采集，基于面目表情识别模块实现用户面部表情的采集，基于姿态采集地垫实现用户行走方向及行走方式的采集，并将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上。

进一步地，基于图像采集模块实现用户面部图像的采集，基于PyramidBox算法实现人脸图像的挖掘，基于Bi-LSTM+Attention模型实现用户面部表情的识别。

进一步地，所述姿态采集地垫基于薄膜式压力传感器实现用户行走方向及行走方式的采集，用户通过踩压姿态采集地垫上的对应不同的行走方向、行走方式的模块实现行走方向、行走方式的录入。

进一步地，同时基于麦克风实现用户音频数据录入数据的采集，并将采集到的用户音频数据在虚拟场景中以字幕携带语音播放的模式播放。

进一步地，还包括基于带三维姿态传感器的指套实现用户手部动作数据的捕捉，并将捕捉到的手部动作数据映射到虚拟场景中绑定的角色上的步骤。

本发明还提供了一种虚拟现实多人交互协作系统，包括：

三维姿态采集模块，用于基于红外线光幕组实现用户三维姿态数据的采集；

面部表情采集模块，用于基于图像采集模块和面目表情识别模块实现用户面部表情的采集；

行走方向及方式采集模块，用于基于姿态采集地垫实现用户行走方向及行走方式的采集；

音频数据采集模块，用于基于麦克风实现用户音频数据录入数据的采集；

映射模块，用于将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上，并将采集到的用户音频数据在虚拟场景中以字幕携带语音播放的模式播放。

进一步地，还包括：

手部姿态采集模块，用于基于带三维姿态传感器的指套实现用户手部动作数据的捕捉，并将捕捉到的手部动作数据映射到虚拟场景中绑定的角色上。

进一步地，所述面部表情采集模块基于图像采集模块实现用户面部图像的采集，基于PyramidBox算法实现人脸图像的挖掘，基于Bi-LSTM+Attention模型实现用户面部表情的识别。

本发明具有以下有益效果：