[发明专利]使用梳状神经网络架构的自动图像合成

权利要求书

1.一种图像合成系统，包括：

计算平台，所述计算平台具有硬件处理器和存储软件代码的系统存储器，所述软件代码包括神经编码器和多个神经解码器，所述多个神经解码器分别对应于多个角色中的相应角色；

所述硬件处理器配置为执行所述软件代码以：

接收目标图像数据和源数据，所述源数据标识所述多个角色中的一个；

使用神经编码器将所述目标图像数据映射至所述目标图像数据的隐空间表示；

基于由所述源数据标识的所述多个角色的一个，标识所述多个神经解码器中的一个，以用于对目标图像数据的隐空间表示进行解码；

使用所述多个神经解码器中所标识的一个神经解码器，将所述目标图像数据的隐空间表示解码为由所述源数据标识的所述多个角色中的一个，以产生交换图像数据；以及

将交换的图像数据与目标图像数据融合，以生成一个或多个合成图像。

2.根据权利要求1所述的图像合成系统，其中，所述多个神经解码器包括至少三个神经解码器。

3.根据权利要求1所述的图像合成系统，其中，所述多个神经解码器与所述神经编码器的输出并联耦合。

4.根据权利要求1所述的图像合成系统，其中，所述神经编码器和所述多个神经解码器中的每一个包括卷积神经网络(CNN)。

5.根据权利要求1所述的图像合成系统，其中，所述目标图像数据包括目标视频序列，并且其中，所述一个或多个合成图像包括所述目标视频序列的一系列合成视频帧，其中所述目标视频序列带有由所述源数据标识的所述多个角色中的一个。

6.根据权利要求1所述的图像合成系统，其中，所述一个或多个合成图像具有百万像素分辨率。

7.根据权利要求1所述的图像合成系统，其中，所述目标图像数据描绘第一表演者的表演，并且所述源数据标识第二表演者，并且其中，所述一个或多个合成图像将所述第一表演者的表演传递给所述第二表演者。

8.根据权利要求1所述的图像合成系统，其中，所述目标图像数据包括目标脸部表示，并且所述源数据标识所述多个角色中的一个的脸部表示，并且其中，所述一个或多个合成图像将所述多个角色中的一个的脸部表示替换为目标图像数据中的目标脸部表示。

9.根据权利要求1所述的图像合成系统，其中，所述神经编码器和所述多个神经解码器渐进式地训练，该训练以低分辨率数据开始，并以逐步更高的分辨率训练数据继续训练直到合成能够满足预定分辨率阈值的训练输出图像。

10.根据权利要求1所述的图像合成系统，其中，所述多个神经解码器中的每个均包括若干个解码器层，所述若干个解码器层各自与一权重因子相关联，其中对应于一些解码器层的权重因子在所有的神经解码器中均是被关联在一起的。

11.一种由图像合成系统使用的方法，所述图像合成系统计算平台，所述计算平台包括具有硬件处理器和存储软件代码的系统存储器，所述软件代码包括神经编码器和多个神经解码器，所述多个神经解码器分别对应于多个角色中的相应角色，所述方法包括：

通过由所述硬件处理器执行的软件代码接收目标图像数据和源数据，其中所述源数据标识所述多个角色中的一个；

通过由所述硬件处理器执行的软件代码使用所述神经编码器将所述目标图像数据映射至所述目标图像数据的隐空间表示；

基于由所述源数据标识的所述多个角色中的一个，通过由所述硬件处理器执行的软件代码标识所述多个神经解码器中的一个，以用于对所述目标图像数据的隐空间表示进行解码；

通过由所述硬件处理器执行的软件代码使用所述多个神经解码器中所标识的一个神经解码器，将所述目标图像数据的隐空间表示解码为由所述源数据标识的所述多个角色中的一个，以产生交换图像数据；以及

通过由所述硬件处理器执行的软件代码将所述交换图像数据和所述目标图像数据融合，以产生一个或多个合成图像。