[发明专利]利用具有双流编码器架构的神经网络来生成合成数字图像

权利要求书

1.一种在其上存储有指令的非瞬态计算机可读介质，所述指令在由至少一个处理器执行时使计算设备：

标识前景图像、背景图像以及与所述前景图像相对应的分割掩模；以及

通过以下操作基于所述前景图像、所述背景图像以及所述分割掩模来生成合成数字图像：

利用多级融合神经网络的前景编码器，基于所述前景图像和所述分割掩模来生成前景特征图；

利用所述多级融合神经网络的背景编码器，基于所述背景图像和所述分割掩模来生成背景特征图；以及

使用所述多级融合神经网络的解码器，基于所述前景特征图和所述背景特征图来生成所述合成数字图像。

2.根据权利要求1所述的非瞬态计算机可读介质，所述非瞬态计算机可读介质还包括指令，所述指令在由所述至少一个处理器执行时使所述计算设备：基于与所述前景图像相对应的所述分割掩模来生成反向分割掩模，

其中基于所述背景图像和所述分割掩模来生成所述背景特征图包括：基于所述背景图像和所述反向分割掩模来生成所述背景特征图。

3.根据权利要求1所述的非瞬态计算机可读介质，其中所述指令在由所述至少一个处理器执行时使所述计算设备通过以下操作来标识与所述前景图像相对应的所述分割掩模：利用前景分割神经网络基于所述前景图像来生成所述分割掩模。

4.根据权利要求3所述的非瞬态计算机可读介质，所述非瞬态计算机可读介质还包括指令，所述指令在由所述至少一个处理器执行时使所述计算设备：利用掩模细化神经网络来修改与所述前景图像相对应的所述分割掩模。

5.根据权利要求1所述的非瞬态计算机可读介质，所述非瞬态计算机可读介质还包括指令，所述指令在由所述至少一个处理器执行时使所述计算设备：

标识由所述前景编码器生成的第一特定于层的特征图和由所述背景编码器生成的第二特定于层的特征图；以及

经由跳跃链路将所述第一特定于层的特征图和所述第二特定于层的特征图提供给所述多级融合神经网络的所述解码器的层，

其中使用所述多级融合神经网络的所述解码器基于所述前景特征图和所述背景特征图来生成所述合成数字图像包括：使用所述解码器进一步基于所述第一特定于层的特征图和所述第二特定于层的特征图来生成所述合成数字图像。

6.根据权利要求5所述的非瞬态计算机可读介质，其中与所述第一特定于层的特征图相对应的所述前景编码器的层处于同与所述第二特定于层的特征图相对应的所述背景编码器的层相同的编码器级别处。

7.根据权利要求1所述的非瞬态计算机可读介质，其中所述合成数字图像包括针对来自所述背景图像的场景而被描绘的来自所述前景图像的前景对象。

8.根据权利要求1所述的非瞬态计算机可读介质，

其中所述前景图像包括训练前景图像，并且所述背景图像包括训练背景图像；以及

所述非瞬态计算机可读介质还包括指令，所述指令在由所述至少一个处理器执行时使所述计算设备：训练所述多级融合神经网络以通过以下操作来生成合成数字图像：

将所述合成数字图像与目标合成数字图像进行比较以确定损失；以及

基于所确定的所述损失来修改所述多级融合神经网络的参数。

9.根据权利要求8所述的非瞬态计算机可读介质，其中所述指令在由所述至少一个处理器执行时使所述计算设备通过以下操作来标识所述前景图像：利用所述多级融合神经网络来生成所述前景图像。

10.根据权利要求8所述的非瞬态计算机可读介质，所述非瞬态计算机可读介质还包括指令，所述指令在由所述至少一个处理器执行时使所述计算设备利用所述多级融合神经网络来生成所述目标合成数字图像。