[发明专利]虚拟形象随动控制方法、装置、电子设备和可读存储介质

说明书

本申请提供一种虚拟形象随动控制方法、装置、电子设备和可读存储介质，通过获取主播的人脸图像，并获得人脸图像包含的多个人脸特征，其中，针对每个人脸特征，可获得预设的与其对应的多个表情基模板，再根据人脸特征和多个表情基模板，确定人脸特征相对于各表情基模板的模板系数。基于各表情基模板及各自对应的模板系数，对构建的虚拟形象中与人脸特征对应的虚拟特征进行状态随动控制。该方案，通过将主播的人脸特征以携带有模板系数的表情基模板来体现，进而控制虚拟形象，可在无需其他辅助设备的情况下实现对虚拟形象的随动控制，并且，该方案是以表情基模板的信息进行控制，使得控制信息更加规范、控制更加精准。

技术领域

本申请涉及直播技术领域，具体而言，涉及一种虚拟形象随动控制方法、装置、电子设备和可读存储介质。

背景技术

随着直播行业的流行，越来越多的大众想进入直播行业，但部分主播会对自己外貌不够自信，如果能用虚拟形象来辅助这些主播，让虚拟形象跟随主播做生动的表演，那么直播的门槛将会极度地被降低。

现有的方案中，有些主播是直接使用头像贴纸，或者带上头套进行直播，但这些静态的贴纸或者头套无法跟随主播做出生动的表情，这导致和观众的交互效果会大打折扣。另外一种方案是让主播戴上专业的动捕设备，但是这种方式成本较大，而且主播要时刻带着头盔，对主播造成了较大的不适。

发明内容

本申请的目的包括，例如，提供了一种虚拟形象随动控制方法、装置、电子设备和可读存储介质，其能够准确、规范且无干扰地实现虚拟形象的随动控制。

本申请的实施例可以这样实现：

第一方面，本申请提供一种虚拟形象随动控制方法，所述方法包括：

获取主播的人脸图像，并获得所述人脸图像包含的多个人脸特征；

针对每个所述人脸特征，获得预设的与其对应的多个表情基模板；

根据所述人脸特征和所述多个表情基模板，确定所述人脸特征相对于各所述表情基模板的模板系数；

基于各所述表情基模板及各自对应的模板系数，对构建的虚拟形象中与所述人脸特征对应的虚拟特征进行状态随动控制。

在可选的实施方式中，所述根据所述人脸特征和所述多个表情基模板，确定所述人脸特征相对于各所述表情基模板的模板系数的步骤，包括：

根据预先建立的目标函数、所述人脸特征以及所述多个表情基模板，对所述目标函数进行优化处理，直至满足预设要求时得到所述目标函数中包含的多个模板系数，其中，所述模板系数与所述表情基模板一一对应。

在可选的实施方式中，所述根据预先建立的目标函数、所述人脸特征以及所述多个表情基模板，对所述目标函数进行优化处理的步骤，包括：

将各所述表情基模板进行投影变换，并根据预先建立的目标函数、所述人脸特征以及投影变换后的多个表情基模板，对所述目标函数进行优化处理。

在可选的实施方式中，所述将各所述表情基模板进行投影变换，并根据预先建立的目标函数、所述人脸特征以及投影变换后的多个表情基模板，对所述目标函数进行优化处理的步骤，包括：

利用预设的初始变换系数对各所述表情基模板进行初次投影变换，并根据预先建立的目标函数、所述人脸特征以及初次投影变换后的多个表情基模板，得到所述目标函数中包含的多个模板系数；

以得到的各个模板系数作为各所述表情基模板更新后的变换系数，利用更新后的变换系数对各所述表情基模板进行再次投影变换，并根据所述目标函数、所述人脸特征以及再次投影变换后的多个表情基模板进行所述目标函数的优化处理，直至满足预设要求。

在可选的实施方式中，所述人脸特征包含多个人脸特征点，各所述表情基模板包含多个表情特征点；