[发明专利]动态图像的生成方法、装置、存储介质及电子设备

说明书

本公开提供了动态图像的生成方法、装置、存储介质及电子设备，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于人脸图像处理和人脸识别等场景。具体实现方案为：获取源视频包含的第一对象的第一关键点，以及目标图像包含的第二对象的第二关键点；基于第一关键点以及第二关键点确定中立关键点的第一运动轨迹，中立关键点表征以下至少一项：不同对象展现不同人脸表情时相同的人脸特征、不同对象进行不同肢体动作时相同的人体特征；将第一运动轨迹映射在目标图像上，得到运动光流信息；基于运动光流信息对第二对象进行驱动，生成目标动态图。

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于人脸图像处理和人脸识别等场景，具体涉及动态图像的生成方法、装置、存储介质及电子设备。

背景技术

人脸表情驱动技术或者人体姿态驱动技术是指用户上传包含人脸表情或者人体姿态的视频，并选取一段人脸表情视频或者人体动作视频，即可用视频中人物的表情或者动作来驱动静态图像，以使静态图像变得鲜活生动，从而可制作各种趣味视频及个性表情包。

然而，现有技术在实现人脸表情驱动或者人体姿态驱动的过程中，人脸表情驱动或者人体姿态驱动的驱动效果差，无法维持静态图像的背景，也无法提升对单张图像进行人脸表情重建或者人体姿态重建的效果。而且，现有的方案也无法渲染静态图像中不存在的信息，例如，无法通过闭嘴图像来渲染出嘴巴内部的纹理信息。

发明内容

本公开提供了一种动态图像的生成方法、装置、存储介质及电子设备。

根据本公开的一方面，提供了一种动态图像的生成方法，包括：获取源视频包含的第一对象的第一关键点，以及目标图像包含的第二对象的第二关键点；基于第一关键点以及第二关键点确定中立关键点的第一运动轨迹，中立关键点表征以下至少一项：不同对象展现不同人脸表情时相同的人脸特征、不同对象进行不同肢体动作时相同的人体特征；将第一运动轨迹映射在目标图像上，得到运动光流信息；基于运动光流信息对第二对象进行驱动，生成目标动态图。

进一步的，动态图像的生成方法还包括：从源视频包含的所有源图像中提取第一关键点，得到关键点序列；基于第一关键点以及第二关键点，生成中立关键点；从源图像中确定参考帧图像；提取参考帧图像对应的关键点，得到参考关键点；基于参考关键点以及关键点序列中的其他关键点确定第二运动轨迹，其中，其他关键点为关键点序列中除参考关键点之外的关键点；根据第二运动轨迹确定第一运动轨迹。

进一步的，动态图像的生成方法还包括：对第一关键点和第二关键点进行特征聚合，得到聚合特征；基于聚合特征构建第一关键点与第二关键点之间的聚合关键点，中立关键点包括聚合关键点。

进一步的，动态图像的生成方法还包括：获取源图像所对应的中立关键点；计算中立关键点与第二关键点的相似度，得到源图像所对应的关键点相似度；从源图像中确定关键点相似度最大的图像，得到参考帧图像。

进一步的，动态图像的生成方法还包括：基于运动光流信息对第二对象的人脸或人体进行对象驱动，得到初始动态图；基于运动光流信息确定初始动态图中的缺失区域，其中，缺失区域为源视频中不存在，且初始动态图中存在的图像区域；对缺失区域进行补全操作，得到目标动态图。

根据本公开的另一方面，还提供了一种动态图像的生成装置，包括：获取模块，用于获取源视频包含的第一对象的第一关键点，以及目标图像包含的第二对象的第二关键点；确定模块，用于基于第一关键点以及第二关键点确定中立关键点的第一运动轨迹，中立关键点表征以下至少一项：不同对象展现不同人脸表情时相同的人脸特征、不同对象进行不同肢体动作时相同的人体特征；映射模块，用于将第一运动轨迹映射在目标图像上，得到运动光流信息；生成模块，用于基于运动光流信息对第二对象进行驱动，生成目标动态图。