[发明专利]基于变分自编码机与对抗网络结合的零样本图像分类方法

权利要求书

1.基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，由训练集中的样本的属性标签作为条件引导，在训练模型时将已知类别的样本和样本对应的属性标签作为模型的输入，通过重建损失，生成损失，判别损失，散度损失和分类损失对网络进行反向传播优化参数，模型训练完成后，输入采样的随机高斯噪声和未知类别的属性，生成对应的未知类别的伪样本，然后用伪样本训练分类器在未知类别样本上测试，实现零样本图像分类，包括以下步骤：

S1、用残差网络提取已知类别样本的特征X_s，维度d＝2048，制作样本相应的属性标签和类别标签类别标签的第K+1列代表其他类，这里设为0；

S2、定义分类器网络Classifier，设置为一层全连接隐含层，神经元个数为n_hidden_C，输出为K+1维向量，利用已知类别样本X_s对分类器网络Classifier进行预训练，对分类网络参数进行初始化从而加速之后网络训练收敛的速度，优化网络参数的损失函数如下：

L_classifier＝-log(P(Y_seen|X_s))；

S3、定义条件变分自编码机CVAE的编码器网络Encoder为两层全连接隐含层，神经元个数为n_hidden_E，Encoder的输入为即X_s和A_seen进行向量拼接后输入；Encoder的输出为(2*d_z)维的向量，前d_z维设为X_s的均值μ(X_S)，后d_z维设为X_s的方差∑(X_S)，均值和方差包含了X_s的结构信息；

S4、从随机高斯噪声中采样得到d_z维的高斯噪声z～N(0,1)，通过加均值乘方差得到z_f＝μ(X_s)+z*∑(X_s)，同时从随机高斯噪声中采样得到d_z维的高斯噪声z_p～N(0,1)；

S5、定义散度损失L_KL；

S6、定义一个多层感知机网络作为条件变分自编码机的解码器，网络设置为一层全连接隐含层，神经元个数为n_hidden_G；

S7、选择交叉熵损失定义条件变分自编码机CVAE中的重建损失L_{reconstruction}；

S8、定义生成对抗网络中的判别器网络Discriminator，设置为一层全连接隐含层，神经元个数为n_hidden_D，将已知类别样本X_s，z_f输入解码器的输出X_f和z_p输入解码器的输出X_p作为判别器网络的输入；

S9、定义判别损失函数L_{discriminator}；

S10、将X_s，X_f和X_p作为分类器网络的输入，定义分类损失函数L_classifier；

S11、定义生成损失函数，通过判别器的判定为真样本，通过分类器分类完成属于其引导属性对应的类别；

S12、整体训练网络，定义模型中每个模块的优化函数，训练模型时每个模块分别用各自对应的损失函数进行反向传播优化参数；

S13、测试时，输入为未知类别对应的属性A_unseen和随机采样的高斯噪声z_t～N(0,1)，将二者拼接作为解码器的输入，输出为生成的未知类别的伪样本X_u'。

2.根据权利要求1所述的基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，步骤S5中，散度损失L_KL如下：

L_KL＝KL(q_E(z|x,a)||P_z)

其中，q_E(z|x,a)为z_f，P_z～N(0,1)，KL为两个分布的KL散度计算。