[发明专利]跨域图像转换

权利要求书

1.一种计算机实现的方法，包括：

基于第一图像域中的第一图像和第二图像域中的第二图像来确定用于从所述第一图像域到所述第二图像域的几何变形的第一学习网络，所述第一图像域和所述第二图像域的图像具有不同的风格并且其中的对象相对彼此具有几何变形；

对所述第二图像执行从所述第二图像域到所述第一图像域的几何变形，以生成中间图像，所述中间图像保持与所述第二图像相同的风格；以及

基于所述第一图像和所述中间图像来确定用于从所述第一图像域到所述第二图像域的风格变换的第二学习网络。

2.根据权利要求1所述的方法，其中确定所述第一学习网络包括：

提取所述第一图像中的对象的几何形状的第一特征点和所述第二图像中的对象的几何形状的第二特征点；

确定所述第一特征点的第一主成分分析(PCA)表示和所述第二组特征点的第二PCA表示；以及

基于所述第一PCA表示和第二PCA表示来确定所述第一学习网络。

3.根据权利要求1所述的方法，其中所述第一学习网络基于第一生成式对抗网络(GAN)，并且其中确定所述第一学习网络包括：

利用所述第一GAN的第一子网络对所述第一图像执行从所述第一图像域到所述第二图像域的几何变形，以将所述第一图像中的对象的第一几何形状变形为第一变形几何形状；

确定所述第一几何形状与第一平均几何形状之间的第一差异以及所述第一变形几何形状与第二平均几何形状之间第二差异，所述第一平均几何形状是所述第一图像域中的多个图像中的对象的几何形状的平均，所述第二平均几何形状是所述第二图像域中的多个图像中的对象的几何形状的平均；以及

更新所述第一GAN的所述第一子网络，以使得所述第一差异与所述第二差异之间的差异降低，

其中更新后的第一子网络被确定为所述第一学习网络。

4.根据权利要求3所述的方法，其中更新所述第一GAN的所述第一子网络进一步包括：

利用所述第一GAN的第二子网络对所述第二图像执行从所述第二图像域到所述第一图像域的几何变形，以将所述第二图像中的对象的第二几何形状变形为第二变形几何形状；

确定所述第二几何形状与所述第二平均几何形状之间的第三差异以及所述第二变形几何形状与所述第一平均几何形状之间的第四差异；以及

联合更新所述第一GAN的所述第一子网络和所述第二子网络，以进一步使所述第三差异与所述第四差异之间的差异降低。

5.根据权利要求4所述的方法，其中执行从所述第二图像域到所述第一图像域的几何变形包括：

利用更新后的第二子网络来执行从所述第二图像域到所述第一图像域的几何变形。

6.根据权利要求1所述的方法，其中所述第二学习网络基于第二生成式对抗网络(GAN)，并且其中确定所述第二学习网络包括：

利用所述第二GAN的第一子网络对所述第一图像执行从所述第一图像域到所述第二图像域的风格变换，以将具有第一风格的所述第一图像变换为具有第二风格的第一预测图像，所述第二风格从所述第二图像域中的多个风格中随机选择；以及

更新所述第二GAN的所述第一子网络，以使所述第一预测图像与所述第一图像在内容上的差异降低，

其中更新后的所述第一子网络被确定为所述第二学习网络。

7.根据权利要求6所述的方法，其中更新所述第二GAN的所述第一子网络进一步包括：

利用所述第二GAN的第二子网络对所述中间图像执行从所述第二图像域到所述第一图像域的风格变换，以将具有第三风格的所述中间图像变换为具有第四风格的第二预测图像，所述第四风格从所述第一图像域中的多个风格中随机选择；以及

联合更新所述第二GAN的所述第一子网络和所述第二子网络，以进一步使所述第二预测图像与所述中间图像在内容上的差异降低。