[发明专利]虚拟形象渲染方法及装置、电子设备和存储介质

说明书

本公开涉及一种虚拟形象渲染方法及装置、电子设备和存储介质，所述方法包括：对采集到的视频流中的视频帧进行检测，确定所述视频帧中目标对象的对象区域，所述对象区域包括身体区域、面部区域及手部区域；对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，所述第一行为姿态包括所述目标对象的身体姿态、面部表情及手部手势；根据所述目标对象的第一行为姿态，渲染预设的虚拟形象。本公开实施例可实现实时驱动虚拟形象的全身动作变化。

技术领域

本公开涉及计算机技术领域，尤其涉及一种虚拟形象渲染方法及装置、电子设备和存储介质。

背景技术

随着科技的发展，终端的性能飞速提高，从而给越来越多的应用的产生和发展提供了有力的技术支持。为了增加用户对应用的粘性，一种较为常见的服务是为用户提供个性化、人性化的交互方式，以提高用户的交互兴趣。

目前的交互方式较为单一，一般都是通过触摸操作、键盘操作、鼠标操作等来实现交互，无法解放双手，交互体验较为乏味。

发明内容

本公开提出了一种实时驱动虚拟形象的全身动作变化，可以丰富目标对象与虚拟形象的交互方式的虚拟形象渲染技术方案。

根据本公开的一方面，提供了一种虚拟形象渲染方法，包括：

对采集到的视频流中的视频帧进行检测，确定所述视频帧中目标对象的对象区域，所述对象区域包括身体区域、面部区域及手部区域；

对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，所述第一行为姿态包括所述目标对象的身体姿态、面部表情及手部手势；

根据所述目标对象的第一行为姿态，渲染预设的虚拟形象。

在一种可能的实现方式中，所述对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，包括：

对所述视频帧中的身体区域进行人体检测，得到所述目标对象的身体部位在第一行为姿态下对应的一组第一关键点信息；

根据所述一组第一关键点信息，确定所述身体部位对应的旋转四元数信息。

在一种可能的实现方式中，所述根据所述目标对象的第一行为姿态，渲染预设的虚拟形象，包括：

根据所述身体部位对应的旋转四元数信息，控制所述虚拟形象中的身体部位进行旋转。

在一种可能的实现方式中，所述对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，包括：

对所述视频帧中的面部区域进行人脸检测，得到所述目标对象面部在第一行为姿态下对应的一组第二关键点信息；

根据所述一组第二关键点信息，确定各表情基对应的表情基系数。

在一种可能的实现方式中，所述根据所述目标对象的第一行为姿态，渲染预设的虚拟形象，包括：

根据所述表情基系数，控制所述虚拟形象中的面部表情进行变换。

在一种可能的实现方式中，所述对所述目标对象的对象区域进行处理，确定所述目标对象的第一行为姿态，包括：

对所述视频帧中的手部区域进行手势检测，得到所述目标对象手部在第一行为姿态下对应的一组第三关键点信息和/或手势信息；

根据所述手部对应的一组第三关键点信息和/或手势信息，确定所述手部各部位对应的旋转四元数信息。

在一种可能的实现方式中，所述根据所述目标对象的第一行为姿态，渲染预设的虚拟形象，包括：

根据所述手部各部位对应的旋转四元数信息，控制所述虚拟形象的手部各部位进行旋转。