[发明专利]基于人脸建模及表情追踪的VR会议控制系统及方法

权利要求书

1.一种基于人脸建模及表情追踪的VR会议控制系统，其特征在于，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，特征点提取模块用于获取人脸信息并提取若干特征点的相对位置信息，3D人脸模型生成模块用于根据位置信息确定3D人脸模型，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块用于输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。

2.如权利要求1所述基于人脸建模及表情追踪的VR会议控制系统，其特征在于，交互模块包括VR头显设备。

3.如权利要求2所述基于人脸建模及表情追踪的VR会议控制系统，其特征在于，VR头显设备内置有显示模块、摄像头和存储模块。

4.如权利要求3所述基于人脸建模及表情追踪的VR会议控制系统，其特征在于，存储模块存储有至少两个会议场景和至少两个经ASM算法计算出的3D人脸模型。

5.一种基于人脸建模及表情追踪的VR会议控制方法，其特征在于，包括以下步骤：

步骤S10，佩戴者佩戴交互模块后，接收佩戴者的选择并进入会议场景；

步骤S20，交互模块中的摄像头获取设备内的实时照片，从实时照片中识别佩戴者的人脸信息；

步骤S30，从人脸信息中识别至少三个特征点，并计算相对位置信息；

步骤S40，根据相对位置信息确定3D人脸模型；

步骤S50，每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型。

6.如权利要求5所述基于人脸建模及表情追踪的VR会议控制方法，其特征在于，还包括步骤：

步骤S60，交互模块输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。

7.如权利要求5所述基于人脸建模及表情追踪的VR会议控制方法，其特征在于，人脸信息包括实时照片中的人脸区域部分，特征点至少包括鼻、嘴、左眼、右眼和耳朵。

8.如权利要求5所述基于人脸建模及表情追踪的VR会议控制方法，其特征在于，相对位置信息包括第一相对距离和第二相对距离，步骤S30具体包括：

步骤S31，从人脸信息中识别出鼻、左眼和右眼；

步骤S32，以鼻为坐标中心，建立坐标系，获取左眼坐标信息和右眼坐标信息；

步骤S33，根据鼻坐标信息、左眼坐标信息和右眼坐标信息所在位置计算第一相对距离和第二相对距离，其中，第一相对距离表示左眼和鼻之间的距离，第二相对距离表示左眼和右眼之间距离。

9.如权利要求8所述基于人脸建模及表情追踪的VR会议控制方法，其特征在于，步骤S40具体包括：

步骤S41，根据第一相对距离从存储模块中选择出若干第一相关模型；

步骤S42，根据第二相对距离从若干第一相关模型中确定3D人脸模型。