[发明专利]基于双向生成及中间域对齐的无监督域适应图像分类方法

权利要求书

1.基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于，包括以下步骤：

S1、双向生成网络：利用对抗博弈思想对图像进行训练生成；

S2、任务网络：通过重构损失、协方差对齐损失、任务和循环一致性损失监督指导S1生成图像的质量，保证图像身份信息，生成与另一个域样本分布相似的图像，将目标域图像所生成的伪源域图像与源域图像同时输入S3网络；

S3、分类网络：特征提取，分布对齐，令伪源域图像与源域图像分布靠近，对目标域图像分类。

2.根据权利要求1所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：在所述S1中，将源域图像与目标域图像进行归一化预处理之后，同时输入到S1生成网络中。

3.根据权利要求2所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：所述S1网络由两个生成器和两个判别器组成，两个生成器和两个判别器分为：源域分支的生成器G_S、目标域分支生成器G_T、源域分支的判别器D_S和目标域分支的判别器D_T；

所述源域分支的生成器G_S，用于生成伪目标域图像I_S-t；

所述源域分支的判别器D_S，用于判别源域图像和伪源域图像；

所述目标域分支生成器G_T，用于生成伪源域图像I_t-s；

所述目标域分支判别器D_T，用于判别目标域图像和伪目标域图像。

4.根据权利要求3所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：所述S1双向生成网络所产生的对抗损失如下所示：

其中，为目标域图像分布，为源域图像分布。

5.根据权利要求1所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：在所述S2中，任务网络用于指导和监督生成网络。

6.根据权利要求1所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：所述S2任务网络所产生的重构损失如下所示：

其中，I_s为源域已有标签的图像，I_t为目标域待分类图像。

7.根据权利要求6所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：所述S2任务网络生成过程中，生成图像的身份信息与原图像维持一致；

所述任务网络S2，对应I_s的输出为T_s，对应I_t的输出为T_t，对应I_s-t的输出为T_{s_t}，对应I_t-s的输出为T_{t_s}，由此产生的任务和循环一致性损失，如下所示：

8.根据权利要求1所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：在所述S3中，目标与图像与伪目标域图像的分布尽可能接近，任务网络中首次加入协方差对齐损失，定义形式如下：

其中，C_S为源域图像中心化后的协方差矩阵，C_{T_S}为生成的伪源域图像中心化后的协方差矩阵，C_T为目标域图像中心化后的协方差矩阵，C_{S_T}为生成的伪目标域图像中心化后的协方差矩阵，d为图像通道维度；

利用任务网络所提供的以上监督指导信息，生成网络不断训练迭代，最终生成符合期待的伪源域图像，将伪源域图像作为中间域图像，替代传统深度域适应网络中的目标域图像，经分类网络的再次对齐，得到目标域最终分类结果。

9.根据权利要求1所述的基于双向生成及中间域对齐的无监督域适应图像分类方法，其特征在于：在将源域图像与伪源域图像，同时输入到S3分类网络中，分类网络中的对齐损失定义如下：

其中，X_S和X_Z分别服从分布P(X_S)和分布P(X_z)，当P(X_S)＝P(X_Z)时，M_k(X_S,X_z)＝0，n_s为源域样本数量，n_z为伪源域样本数量，X_Z为伪源域样本；

用于将原变量映射到具有再生性K(x,.),K(y,.)_H＝K(x,y)的再生核希尔伯特空间中。