[发明专利]人脸驱动和直播方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种人脸驱动和直播方法、装置、电子设备及存储介质。其中，人脸驱动方法包括：获取原始图像数据，原始图像数据中具有人脸数据；获取参考图像数据，参考图像数据中具有虚拟形象；对人脸数据识别人脸关键点；通过残差链接将参考图像数据重组为目标图像数据，以将虚拟形象调整至人脸关键点所表征的姿态。本发明实施例的方案，实现了将原始人脸数据与虚拟形象进行重组，进而驱动虚拟形象，可以应用于直播等应用场景，解决了现有的人脸驱动成本较高并且灵活度较低的问题。

技术领域

本发明实施例涉及计算机视觉技术领域，尤其涉及一种人脸驱动和直播方法、装置、电子设备及存储介质。

背景技术

随着社会的不断发展，诸如手机、平板电脑等电子设备已经广泛应用在学习、娱乐、工作等方面，扮演着越来越重要的角色。在这些电子设备中配置有摄像头，可用于拍照、录像或者直播等应用。

在直播、AR(Augmented Reality，增强现实)、制作表情等应用中，识别当前用户的人脸状态，从而驱动另一个人脸表达该人脸状态。

但是，现有的人脸驱动方法需要依赖美工设计3D(3-Dimensional，三维)虚拟形象的以及为用户配置动作捕捉设备捕捉用户的动作，才能实现根据用户的动作驱动3D虚拟形象。这种人脸驱动方式，成本较高并且灵活度较低。

发明内容

本发明实施例提供一种人脸驱动和直播方法、装置、电子设备及存储介质，以解决现有的人脸驱动成本较高并且灵活度较低的问题。

第一方面，本发明实施例提供了一种人脸驱动方法，该方法包括：

获取原始图像数据，所述原始图像数据中具有原始人脸数据；

获取参考图像数据，所述参考图像数据中具有虚拟形象；

对所述原始人脸数据识别原始人脸关键点；

通过残差链接将所述参考图像数据重组为目标图像数据，以将所述虚拟形象调整至所述原始人脸关键点所表征的姿态。

第二方面，本发明实施例还提供了一种直播方法，该方法包括：

接收主播客户端上传的原始直播数据，所述原始直播数据中具有视频数据，所述视频数据的原始图像数据中具有主播用户的原始人脸数据；

确定所述主播客户端选定的参考图像数据，所述参考图像数据中具有虚拟形象；

对每帧所述原始图像数据中的所述原始人脸数据识别原始人脸关键点；

通过残差链接将每帧所述参考图像数据重组为目标图像数据，以将所述虚拟形象调整至所述原始人脸关键点所表征的姿态；

根据所述目标图像数据生成目标直播数据；

在所述主播用户关联的直播间中发布所述目标直播数据。

第三方面，本发明实施例还提供了一种直播方法，该方法包括：

在观众客户端登录直播间时，接收服务器发送的原始直播数据，所述原始直播数据中具有原始人脸关键点，所述原始人脸关键点提取自面对主播用户采集的视频数据；

确定所述观众客户端选定的参考图像数据，所述参考图像数据中具有虚拟形象；

通过残差链接将每帧所述参考图像数据重组为目标图像数据，以将所述虚拟形象调整至所述原始人脸关键点所表征的姿态；

在所述直播间的页面中播放包含所述目标图像数据的视频数据与所述音频数据。

第四方面，本发明实施例还提供了一种人脸驱动装置，该装置包括：

原始图像数据获取模块，用于获取原始图像数据，所述原始图像数据中具有原始人脸数据；