[发明专利]一种虚拟形象的动作生成方法、装置、终端以及存储介质

说明书

本申请公开了一种虚拟形象的动作生成方法、装置、终端以及存储介质，该动作生成方法包括：获取至少一张包含目标虚拟形象的图片；分别提取每张图片中目标虚拟形象的纹理信息；将不同图片中获取的纹理信息进行融合，得到目标虚拟形象的完整纹理信息；获取包括人体动作的图像，并从图像中获取人体动作的关节点信息；将目标虚拟形象的完整纹理信息与人体动作的关节点信息进行融合渲染，形成目标虚拟形象的动作图像。通过上述方式，本申请只需要传输单张(或少量几张)包括目标虚拟形象的图片，就可以驱动目标虚拟形象做出预设的姿态和动作，不仅避免了人工建模带来的成本问题，降低了主播直播和短视频制作的门槛，还丰富了虚拟形象的多样性。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种虚拟形象的动作生成方法、装置、终端以及存储介质。

背景技术

随着网络技术以及直播行业的发展，虚拟主播作为一种新的直播形式越来越流行。

现有技术中，人体姿态驱动需要美工手动建立人体3D模型，例如，通过手机或者双摄像头对人物进行绕一周或多次环绕拍摄，或者是通过对人物进行多角度的拍照，获取更多的信息点，将信息点与虚拟形象中的关键点进行融合，以生成虚拟主播。

然而，这种方式一方面会导致设计新的虚拟主播形象的成本较大，另一方面是需要使用大量特定目标人物的图片进行训练，且只能对该特定目标人物进行驱动，极大地限制了虚拟形象的多样性。

发明内容

本申请主要解决的技术问题是提供一种虚拟形象的动作生成方法、装置、终端以及存储介质，能够解决虚拟形象的设计成本较大且多样性稀缺的问题。

为解决上述技术问题，本申请采用的第一技术方案是提供一种虚拟形象的动作生成方法，该方法包括：获取至少一张包含目标虚拟形象的图片；分别提取每张图片中目标虚拟形象的纹理信息；将不同图片中获取的纹理信息进行融合，得到目标虚拟形象的完整纹理信息；获取包括人体动作的图像，并从图像中获取人体动作的关节点信息；将目标虚拟形象的完整纹理信息与人体动作的关节点信息进行融合渲染，形成目标虚拟形象的动作图像。

其中，获取包括人体动作的图像，并从图像中获取人体动作的关节点信息的步骤，还包括：基于关节点信息形成人体动作的第一贴图；将目标虚拟形象的完整纹理信息与人体动作的关节点信息进行融合渲染，形成目标虚拟形象的动作图像的步骤，包括：将目标虚拟形象的完整纹理信息渲染到第一贴图中，得到目标虚拟形象的动作图像。

其中，关节点信息包括各关节点之间的位置关系；将目标虚拟形象的完整纹理信息与人体动作的关节点信息进行融合渲染，形成目标虚拟形象的动作图像的步骤，包括：将完整纹理信息中的目标虚拟形象的各关节点的位置关系进行调整，使其与人体动作中的各关节点之间的位置关系相对应；基于完整纹理信息对调整后的目标虚拟形象的各关节点进行渲染，得到目标虚拟形象的动作图像。

其中，获取包括人体动作的图像，并从图像中获取人体动作的关节点信息的步骤，还包括：基于包括人体动作的图像获取人体的关节点分布，并基于关节点分布提取每个关节点的特征，以基于每个关节点的特征获取各关节点之间的位置关系。

其中，基于关节点信息形成人体动作的第一贴图的步骤，具体包括：基于包含目标虚拟形象的图片获取虚拟形象的体形轮廓信息，将体形轮廓信息与关节点信息通过生成神经网络进行融合，以形成第一贴图。

其中，动作图像中的虚拟形象包括掩码，以与不同背景进行融合。

其中，获取包括人体动作的图像，并从图像中获取人体动作的关节点信息的步骤，包括：获取包括人体动作的视频，并分别获取到视频的每一帧图片；依次提取各帧图片中的人体动作的关节点信息；将目标虚拟形象的完整纹理信息与人体动作的关节点信息进行融合渲染，形成目标虚拟形象的动作图像的步骤中，还包括：分别将目标虚拟形象的完整纹理信息与每一帧图片的关节点信息进行融合渲染，得到多帧渲染后的动作图像，再将多帧渲染后的动作图像按照时间顺序合成视频。