[发明专利]生成动画的方法和装置

说明书

本公开提供了生成动画的方法和装置，涉及图像处理增强现实和深度学习等人工智能领域。具体实现方案为：获取预先提取的源图像和所述源图像的特征。将目标图像输入第一关键点提取网络，输出目标图像的关键点。将目标图像的关键点输入第一特征提取网络，输出目标图像的特征。将源图像的特征和目标图像的特征输入位姿生成网络，输出位姿变换特征图。将位姿变换特征图和源图像输入驱动网络，输出所述动画。该实施方式实现了自动化实时驱动人脸面部表情。

技术领域

本公开涉及图像处理领域，尤其涉及增强现实和深度学习等人工智能领域，具体为生成动画的方法和装置。

背景技术

随着社会的不断发展，诸如手机、平板电脑等电子设备已经广泛应用在学习、娱乐、工作等方面，扮演着越来越重要的角色。在这些电子设备中配置有摄像头，可用于拍照、录像或者直播等应用。

在直播、AR(Augmented Reality，增强现实)、制作表情等应用中，识别当前用户的人脸状态，从而驱动另一个人脸表达该人脸状态。

传统人脸面部驱动通过渲染软件手动实现，不支持实时驱动处理，所以只能进行离线驱动，演示视频效果。

发明内容

本公开提供了一种生成动画的方法、装置、设备、存储介质以及计算机程序产品。

根据本公开的第一方面，提供了一种生成动画的方法，包括：获取预先提取的源图像和源图像的特征；将目标图像输入第一关键点提取网络，输出目标图像的关键点；将目标图像的关键点输入第一特征提取网络，输出目标图像的特征；将源图像的特征和目标图像的特征输入位姿生成网络，输出位姿变换特征图；将位姿变换特征图和源图像输入驱动网络，输出动画。

根据本公开的第二方面，提供了一种生成动画的装置，包括：获取单元，被配置成获取预先提取的源图像和源图像的特征；第一提取单元，被配置成将目标图像输入第一关键点提取网络，输出目标图像的关键点；第二提取单元，被配置成将目标图像的关键点输入第一特征提取网络，输出目标图像的特征；第三提取单元，被配置成将源图像的特征和目标图像的特征输入位姿生成网络，输出位姿变换特征图；驱动单元，被配置成将位姿变换特征图和源图像输入驱动网络，输出动画。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面中任一项所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的方法。

本公开的实施例提供的生成动画的方法和装置，将图像的高分辨率信息保留和位姿变换信息的获取拆分成两个阶段，高分辨率信息保留需要使用大型网络，耗时大，可以离线获取。而实际使用驱动时，目标图特征的提取采用小型网络，不提取完整的图像信息，只提取关键点的位姿变换信息，耗时低，实现实时提取。从而实现了动画驱动。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的生成动画的方法的一个实施例的流程图；

图3是根据本公开的生成动画的方法的一个应用场景的示意图；