[发明专利]利用循环GAN将真实图像变换成虚拟图像的方法及装置

权利要求书

1.一种利用循环GAN而将真实世界上的至少一个真实图像变换成虚拟世界上的至少一个虚拟图像的学习方法，该学习方法包括如下步骤：

(a)当获得作为上述真实图像之一的至少一个第1图像时，学习装置，(i)使第1变换器将上述第1图像变换成具备与上述虚拟图像相同或类似的至少一个特性的至少一个第2图像，(ii)(ii-1)使第1判别器判断上述第2图像是初级虚拟图像之一还是次级虚拟图像之一，从而生成第1_1结果，上述初级虚拟图像是并非从上述真实图像的至少一部分变换的上述虚拟图像的至少一部分，上述次级虚拟图像是从上述真实图像的至少一部分变换的上述虚拟图像的至少一部分，(ii-2)使第2变换器将上述第2图像变换成具备与上述真实图像相同或类似的至少一个特性的至少一个第3图像；

(b)当获得作为上述虚拟图像之一的至少一个第4图像时，上述学习装置，(i)使上述第2变换器将上述第4图像变换成具备与上述真实图像相同或类似的至少一个特性的至少一个第5图像，(ii)(ii-1)使第2判别器判断上述第5图像是初级真实图像之一还是次级真实图像之一，从而生成第2_1结果，上述初级真实图像是并非从上述虚拟图像的至少一部分变换的上述真实图像的至少一部分，上述次级真实图像是从上述虚拟图像的至少一部分变换的上述真实图像的至少一部分，(ii-2)使上述第1变换器将上述第5图像变换成具备与上述虚拟图像相同或类似的至少一个特性的至少一个第6图像；及

(c)上述学习装置参照上述第1图像、上述第2图像、上述第3图像、上述第4图像、上述第5图像、上述第6图像、上述第1_1结果及上述第2_1结果中的至少一部分来算出至少一个损失，从而学习上述第1变换器、上述第2变换器、上述第1判别器及上述第2判别器的参数中的至少一部分，

该学习方法的特征在于，在步骤(c)中，当获得(i)通过检测输入到自己的图像所包含的至少一个虚拟对象的虚拟对象检测器而生成的、关于上述第2图像及上述第6图像中的至少一部分的虚拟对象检测结果及(ii)与此对应的GT时，上述学习装置使损失单元进一步参照上述虚拟对象检测结果而生成上述至少一个损失的至少一部分，该GT为Ground truth。

2.根据权利要求1所述的学习方法，其特征在于，

在上述(c)步骤中，

G^*＝argmin(log(1-D_G(G(I)))+γ|I-F(G(I))|+log(1-D_F(F(X)))+β|X-G(F(X))|)+argmax(λ₁×OD(G(I))+λ₂×oD(G(F(X))))

上述至少一个损失所包含的变换器损失根据上述式而被定义，I表示上述第1图像，G(I)表示上述第2图像，D_G(G(I))表示上述第1_1结果，F(G(I))表示上述第3图像，X表示上述第4图像，F(X)表示上述第5图像，D_F(F(X))表示上述第2_1结果，G(F(X))表示上述第6图像，γ及β是用于调整各个|I-F(G(I))|及|X-G(F(X))|的各个加权值的常数，

argmax(λ₁×OD(G(I))+λ₂×OD(G(F(X))))表示与上述虚拟对象检测结果对应的上述变换器损失的部分损失，λ₁和λ₂是用于调整各个OD(G(I))及oD(G(F(X)))的各个加权值的常数。

3.根据权利要求1所述的学习方法，其特征在于，

在上述(c)步骤中，

上述损失所包含的上述第1判别器用FD损失根据上述式而被定义，VI表示上述虚拟图像中的任意虚拟图像，D_G(VI)表示关于上述任意虚拟图像的上述第1判别器的判断内容即第1_2结果，G(I)表示上述第2图像，D_G(G(I))表示上述第1_1结果。