[发明专利]一种虚拟现实多人交互协作方法与系统

权利要求书

1.一种虚拟现实多人交互协作方法，其特征在于，基于红外线光幕组实现用户三维姿态数据的采集，基于面目表情识别模块实现用户面部表情的采集，基于姿态采集地垫实现用户行走方向及行走方式的采集，并将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上。

2.如权利要求1所述的一种虚拟现实多人交互协作方法，其特征在于，基于图像采集模块实现用户面部图像的采集，基于PyramidBox算法实现人脸图像的挖掘，基于Bi-LSTM+Attention模型实现用户面部表情的识别。

3.如权利要求1所述的一种虚拟现实多人交互协作方法，其特征在于，所述姿态采集地垫基于薄膜式压力传感器实现用户行走方向及行走方式的采集，用户通过踩压姿态采集地垫上的对应不同的行走方向、行走方式的模块实现行走方向、行走方式的录入。

4.如权利要求1所述的一种虚拟现实多人交互协作方法，其特征在于，同时基于麦克风实现用户音频数据录入数据的采集，并将采集到的用户音频数据在虚拟场景中以字幕携带语音播放的模式播放。

5.如权利要求1所述的一种虚拟现实多人交互协作方法，其特征在于，还包括基于带三维姿态传感器的指套实现用户手部动作数据的捕捉，并将捕捉到的手部动作数据映射到虚拟场景中绑定的角色上的步骤。

6.一种虚拟现实多人交互协作系统，其特征在于，包括：

三维姿态采集模块，用于基于红外线光幕组实现用户三维姿态数据的采集；

面部表情采集模块，用于基于图像采集模块和面目表情识别模块实现用户面部表情的采集；

行走方向及方式采集模块，用于基于姿态采集地垫实现用户行走方向及行走方式的采集；

音频数据采集模块，用于基于麦克风实现用户音频数据录入数据的采集；

映射模块，用于将采集到的用户三维姿态数据、面部表情、用户行走方向及行走方式实时映射到虚拟场景中绑定的角色上，并将采集到的用户音频数据在虚拟场景中以字幕携带语音播放的模式播放。

7.如权利要求6所述的一种虚拟现实多人交互协作系统，其特征在于，还包括：

手部姿态采集模块，用于基于带三维姿态传感器的指套实现用户手部动作数据的捕捉，并将捕捉到的手部动作数据映射到虚拟场景中绑定的角色上。

8.如权利要求6所述的一种虚拟现实多人交互协作系统，其特征在于，所述面部表情采集模块基于图像采集模块实现用户面部图像的采集，基于PyramidBox算法实现人脸图像的挖掘，基于Bi-LSTM+Attention模型实现用户面部表情的识别。