[发明专利]基于人脸建模及表情追踪的VR会议控制系统及方法

说明书

本发明公开了一种基于人脸建模及表情追踪的VR会议控制系统及方法，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块用于将会议场景以及3D人脸模型输出。本发明，能够准确、实时将人脸信息中各特征点实时变化更新至3D人脸模型中，即能够在虚拟场景中观察到会议中各参与者的表情变化，更加逼真以及能够清楚了解到除了声音之外的信息。

技术领域

本发明属于虚拟场景技术领域，尤其涉及一种基于人脸建模及表情追踪的VR会议控制系统及方法。

背景技术

目前，已有的VR系统主要是采用虚拟现实技术在现有的情景化会议系统上进行场景3D化，结合视频会议和3D技术实现在语音、视频系统与3D虚拟画面的全面结合下进行网络视频会议，缩短人与人之间的距离，实现跨地域的连接与互动。可通过屏幕上虚拟世界内的交互展示。然而在人与人的交流过程中，多以传达声音为主，真实感较差。

因此，现有技术有待于改善。

发明内容

本发明的主要目的在于提出一种基于人脸建模及表情追踪的VR会议控制系统及方法，以解决背景技术中所提及的技术问题。

本发明的一种基于人脸建模及表情追踪的VR会议控制系统，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，特征点提取模块用于获取人脸信息并提取若干特征点的相对位置信息，3D人脸模型生成模块用于根据位置信息确定3D人脸模型，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。

优选地，交互模块包括VR头显设备。

优选地，VR头显设备内置有显示模块、摄像头和存储模块。

优选地，存储模块存储有至少两个会议场景和至少两个经ASM算法计算出的3D人脸模型。

本发明还提供了一种基于人脸建模及表情追踪的VR会议控制方法，包括以下步骤：

步骤S10，佩戴者佩戴交互模块后，接收佩戴者的选择并进入会议场景；

步骤S20，交互模块中的摄像头获取设备内的实时照片，从实时照片中识别佩戴者的人脸信息；

步骤S30，从人脸信息中识别至少三个特征点，并计算相对位置信息；

步骤S40，根据相对位置信息确定3D人脸模型；

步骤S50，每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型。

优选地，还包括步骤：

步骤S60，交互模块输出会议场景以及参与会议场景的每个佩戴者所对应的3D人脸模型。

优选地，人脸信息包括实时照片中的人脸区域部分，特征点至少包括鼻、嘴、左眼、右眼和耳朵。

优选地，相对位置信息包括第一相对距离和第二相对距离，步骤S30具体包括：

步骤S31，从人脸信息中识别出鼻、左眼和右眼；

步骤S32，以鼻为坐标中心，建立坐标系，获取左眼坐标信息和右眼坐标信息；

步骤S33，根据鼻坐标信息、左眼坐标信息和右眼坐标信息所在位置计算第一相对距离和第二相对距离，其中，第一相对距离表示左眼和鼻之间的距离，第二相对距离表示左眼和右眼之间距离。