[发明专利]图像处理、AR显示与直播方法、设备及存储介质

说明书

本申请实施例提供一种图像处理、AR显示与直播方法、设备及存储介质。在本申请实施例中，基于先验3D人脸模型对2D图像进行三维重建，在三维重建过程中，结合2D人脸图像到重建出的3D人脸模型的位置映射关系进行人脸姿态估计，获取2D人脸姿态数据，在将三维重建出的3D人脸模型投影到2D人脸图像时，利用该2D人脸姿态数据对目标3D人脸模型执行向2D人脸图像的透视投影处理，充分考虑2D人脸的姿态数据，使得3D人脸模型投影到2D图像的效果更贴合更真实，为高精度需求的应用提供更多的可能。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理、AR显示与直播方法、设备及存储介质。

背景技术

基于视觉的三维人脸重建及姿态估计在增强现实(Augmented Reality，AR)实时直播的3D头像创建、人脸动画生成、AR化妆或AR试戴等应用场景中有着重要的应用价值。例如，在AR化妆场景中，需要将一些美妆特效(如，腮红、口红等)添加到重建的三维人脸模型上，然后将添加美妆特效的三维人脸模型投影到二维人脸图像进行呈现。又例如，在AR试戴场景中，需要将试戴产品(如，太阳镜、耳环等)添加到重建的三维人脸模型上，然后将添加试戴产品的三维人脸模型投影到二维人脸图像进行呈现。其中，在将三维人脸模型投影到二维人脸图像时，经常出现重建的三维人脸模型和二维人脸图像不贴合的问题，例如，在AR化妆场景中出现的妆容扭曲或悬浮等问题，使得重建三维人脸模型的应用受到限制。

发明内容

本申请的多个方面提供一种图像处理、AR显示与直播方法、设备及存储介质，使得3D人脸模型投影到2D图像的效果更贴合更真实，为高精度需求的应用提供更多的可能。

本申请实施例提供一种图像处理方法，包括：基于先验3D人脸模型对2D人脸图像进行三维重建，得到2D人脸图像对应的目标3D人脸模型；在三维重建过程中，结合2D人脸图像到目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；根据2D人脸的姿态数据针对目标3D人脸模型执行向2D人脸图像的透视投影处理。

本申请实施例还提供一种AR显示方法，适用于AR显示设备，AR显示设备带有摄像头，方法包括：AR显示设备利用摄像头采集使用者的2D人脸图像，并在其显示屏幕上显示2D人脸图像；基于先验3D人脸模型对2D人脸图像进行三维重建，得到2D人脸图像对应的目标3D人脸模型，并在三维重建过程中，结合2D人脸图像到目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；以及在目标3D人脸模型上添加目标对象；根据2D人脸的姿态数据，针对添加目标对象后的目标3D人脸模型执行向2D人脸图像的透视投影处理，并在显示屏幕上显示带有目标对象的2D人脸图像。

本申请实施例还提供一种直播方法，包括：利用摄像头采集主播端的初始直播视频，初始直播视频中包含2D人脸图像；基于先验3D人脸模型对2D人脸图像进行三维重建，得到2D人脸图像对应的目标3D人脸模型，并在三维重建过程中，结合2D人脸图像到目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；以及在3D目标人脸模型上添加直播动效或产品；根据2D人脸的姿态数据针对添加直播动效或产品后的目标3D人脸模型执行向2D人脸图像的透视投影处理，以得到目标直播视频，并将目标直播视频发送给播放终端，目标直播视频中包含带有直播动效或产品的2D人脸图像。

本申请实施例还提供一种图像处理装置，包括：三维重建模块，用于基于先验3D人脸模型对2D人脸图像进行三维重建，得到2D人脸图像对应的目标3D人脸模型；姿态估计模块，用于在三维重建过程中，结合2D人脸图像到目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；透视投影模块，用于根据2D人脸的姿态数据针对目标3D人脸模型执行向2D人脸图像的透视投影处理。