[发明专利]用于生成多模态数字图像的方法和系统

权利要求书

1.一种用于生成多模态数字图像的计算机实现的方法，其中，所述方法使用与用于实现所述方法的存储指令相结合的处理器，其中，所述指令在由所述处理器执行时执行所述方法的以下步骤：

获取场景的图像，所述图像表示所述场景的特征；

利用第一神经网络来处理所述图像，以生成具有第一模态的第一图像；

利用第二神经网络来处理所述图像，以生成具有第二模态的第二图像，使得所述第一图像和所述第二图像形成所述多模态数字图像，其中，所述第一神经网络的结构和层数与所述第二神经网络的结构和层数相同，其中，所述第一神经网络中的至少一层的参数与所述第二神经网络中的对应层的参数相同，并且其中，所述第一神经网络中的至少一层的参数与所述第二神经网络中的对应层的参数不同，

其中，所述第一神经网络和所述第二神经网络的具有相同参数的层生成所述多模态数字图像的所述第一图像和所述第二图像的高级特征，并且其中，所述第一神经网络和所述第二神经网络的具有不同参数的层生成所述多模态数字图像的所述第一图像和所述第二图像的低级特征，

其中，在针对所述第一神经网络和所述第二神经网络中的若干底层实施相同的参数的同时，对所述第一神经网络和所述第二神经网络进行联合训练，并且其中，利用生成对抗网络GAN来训练所述第一神经网络和所述第二神经网络中的至少一个或两个神经网络，所述生成对抗网络包括生成子网络和判别子网络，所述生成子网络用于生成所述数字图像的特定模态的样本，并且所述判别子网络用于测试由所述生成子网络生成的所述数字图像的所述样本是否具有所述特定模态；以及

输出所述多模态数字图像。

2.根据权利要求1所述的方法，所述方法还包括：

利用概率分布来随机生成所述图像的元素。

3.根据权利要求1所述的方法，其中，所述低级特征是从所述高级特征导出的。

4.根据权利要求1所述的方法，其中，所述数字图像包括图像、视频、文本以及声音中的一个或组合。

5.根据权利要求1所述的方法，其中，对所述第一神经网络的第一生成子网络和第一判别子网络与所述第二神经网络的第二生成子网络和第二判别子网络进行联合训练以最小化极小极大目标函数。

6.根据权利要求1所述的方法，所述方法还包括：

在显示装置上呈现所述第一模态的所述第一图像和所述第二模态的所述第二图像，或者通过通信信道发送所述第一模态的所述第一图像和所述第二模态的所述第二图像。

7.根据权利要求1所述的方法，其中，所述第一图像的所述第一模态是彩色图像，并且其中，所述第二图像的所述第二模态是深度图像。

8.根据权利要求1所述的方法，其中，所述第一图像的所述第一模态是彩色图像，并且其中，所述第二图像的所述第二模态是热图像。

9.根据权利要求1所述的方法，其中，所述第一图像的所述第一模态是具有第一样式的图像，并且其中，所述第二图像的所述第二模态是具有第二样式的图像。

10.根据权利要求1所述的方法，其中，所述第一神经网络和所述第二神经网络是从被联合训练以生成所述数字图像的一组模态的一组神经网络选择的，所述方法包括：

利用一组神经网络来处理所述图像，以生成所述多模态数字图像。

11.根据权利要求10所述的方法，其中，所述一组神经网络形成耦合生成对抗网络CoGAN。