[发明专利]一种面部捕捉方法、装置、电子设备及存储介质

说明书

本申请实施例提供一种面部捕捉方法、装置、电子设备及存储介质，能够根据检测到的相机采集的人脸图像的二维人脸关键点从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点，根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数，通过对三维表情参数进行稀疏化处理，在保留重要表情参数的同时，降低了三维表情参数维度，能够使得稀疏化表情参数和旋转角参数较好的映射至动画模型上，有效缓解因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突的问题，保证了虚拟角色的表情与人脸图像表情一致。

技术领域

本申请涉及人脸动画技术领域，尤其是涉及一种面部捕捉方法、装置、电子设备及存储介质。

背景技术

在影视游戏制作中，通常需要得到用户的面部表情参数来驱动游戏中虚拟角色的表情，以使得虚拟角色的表情接近用户的面部表情。

现有虚拟角色的动画模型(比如卡通角色模型、动物模型)的网络结构与三维人脸模型的网络结构相比构建简单的多，而由三维人脸模型得到的面部表情参数较多，如果直接将面部表情参数迁移至上述动画模型上，面部表情参数组合后会出现网格冲突的现象，影响了虚拟角色表情的生成。

发明内容

本申请的目的在于提供一种面部捕捉方法、装置、电子设备及存储介质，以降低三维表情参数维度，缓解因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突的问题。

本申请实施例提供一种面部捕捉方法，其中，该方法包括：检测相机采集的人脸图像的二维人脸关键点；根据二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；根据二维人脸关键点和三维目标关键点计算相机参数，其中，相机参数包括以下：旋转角参数、平移量和缩放值；根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数；对三维表情参数进行稀疏化处理，得到稀疏化表情参数；将稀疏化表情参数和旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与人脸图像表情一致。

上述检测相机采集的人脸图像的二维人脸关键点的步骤，包括：获取相机采集的人脸视频；将人脸视频包含的人脸图像逐一输入至人脸关键点检测模型，得到每个人脸图像分别对应的二维人脸关键点。

上述在三维人脸模型中标注有每个三维人脸关键点对应的三维点标识；根据二维人脸关键点，从三维人脸关键点中确定三维目标关键点的步骤，包括：获取二维人脸关键点对应的二维点标识；获取与二维点标识匹配的三维点标识；将获取的三维点标识对应的三维人脸关键点确定为三维目标关键点。

上述根据二维人脸关键点和三维目标关键点计算相机参数的步骤，包括：基于二维人脸关键点和三维目标关键点构建关于相机参数的误差函数；利用最小二乘法求解误差函数的最小值；将最小值作为相机参数。

上述根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数的步骤，包括：将二维人脸关键点输入三维人脸模型进行迭代计算，以变换三维人脸模型的表情，直至表情变换后的三维人脸模型中三维目标关键点在人脸图像上的投影点与二维人脸关键点重合；其中，投影点为三维目标人脸关键点基于相机参数计算得到；提取迭代计算后的三维人脸模型中的表情参数；将提取的表情参数确定为三维表情参数。