[发明专利]使用梳状神经网络架构的自动图像合成

说明书

一种图像合成系统，其包括计算平台，具有硬件处理器和存储软件代码的系统存储器，软件代码包括神经编码器和分别对应于多个角色中的相应角色的多个神经解码器。硬件处理器配置为执行软件代码以：接收目标图像数据和源数据，源数据标识多个角色中的一个；使用神经编码器将目标图像数据映射至目标图像数据的隐空间表示；基于由源数据标识的多个角色之一，标识多个神经解码器之一，以用于对目标图像数据的隐空间表示进行解码；使用多个神经解码器中所标识的一个神经解码器，将目标图像数据的隐空间表示解码为由源数据标识的多个角色之一，以产生交换图像数据；以及，将交换的图像数据与目标图像数据融合，以生成一个或多个合成图像。

相关申请的交叉引用

本申请要求于2019年5月20日提交的、标题为“用于高分辨率、多对象脸部交换的梳状网络(Comb Networks for High-Resolution,Multi-Subject Face Swapping)”的美国临时专利申请No.62/850,439的权益和优先权，在此通过引用将其全部内容并入本申请。

背景技术

将视觉图像从源域转移到目标域是视觉效果中的重要问题。这种图像转移的一种示例性应用是将目标表演者的表演转移至源演员，当该源演员去世或必须扮演不同年龄的角色时，这是必要的。

不足的是，执行图像转移的许多常规方法会生成带有大量伪像的低分辨率图像。尽管存在能够生成更高分辨率图像的技术，但它们通常需要耗时且费力的人工处理，并且需要仔细地对拍摄场景进行结构化处理、将物理特征点放置在目标表演者身上以及将计算机生成的相似图像手动匹配到目标表演者的脸上。此外，尽管使用这种手动且昂贵的方法可获得更高的分辨率，但通常仍会存在奇怪的美术效果。

发明内容

本文公开了提供了使用梳状神经网络架构来执行自动图像合成的系统和方法，其基本上如结合至少一个附图所示和/或所描述的那样，并且在权利要求中将有更完整的阐述。

附图说明

图1示出了根据一实施方案的示例性系统图，其中该系统使用梳状神经网络架构执行自动图像合成；

图2示出了根据一实施方案的适用于图1所示系统的示例性图像合成软件代码；

图3A示出了根据一实施方案的神经编码器的实现细节，其中该神经编码器适合包含于图2所示的图像合成软件代码；

图3B示出了根据一实施方案的多个神经编码器中的任意一个的实现细节，其中该多个神经编码器适合包含于图2所示的图像合成软件代码；

图4示出了流程图，该流程图示出了根据一实施方案的使用梳状神经网络架构执行自动图像合成的示例性方法；以及

图5示出了根据一实施方案的用于执行自动图像合成的示例性算法的伪代码。

具体实施方案

以下描述包含与本公开中的实施方案有关的特定信息。本领域的技术人员将认识到，可以以不同于与本文具体讨论的方式来实现本公开。本申请的附图及其随附的详细描述仅针对示例性实施方案。除非另有说明，否则附图中相同或相应的元件由相同或相应的附图标记表示。并且，本申请中的附图和图示通常不按比例绘制且不旨在对应于实际的相对尺寸。

本申请公开了一种使用基本上无监督的深度学习模型来执行自动图像合成的系统和方法，其中该深度学习模型使用梳状神经网络架构。本解决方案不需要对目标图像和源图像进行成对的观察，这些目标图像和源图像可以是静态图像或视频序列，这些静态图像或视频序列之后能够被自动处理和对准。本文公开的深度学习模型采用梳状架构，用于在共享的隐空间(latent space)中对目标图像和源图像进行编码，并且该深度学习模型随后拆分成多个专门的神经解码器，其中一个用于目标并且一个用于源。例如，当将目标演员的表演转移到源表演者时，对目标图像进行编码，然后将其解码为源图像，从而创建具有源表演者的外貌并能够匹配目标演员的表演的图像。