[发明专利]一种基于对偶距离损失的生成对抗网络训练方法

说明书

本发明涉及对抗学习领域，具体涉及一种基于对偶距离损失的生成对抗网络训练方法，包括以下步骤：S1：获取目标分布的数据集，以及对数据集进行预处理；S2：设置生成器和判别器神经网络的结构和参数，以及训练过程中的学习率；S3：根据步骤S2中的神经网络的参数计算出对偶距离损失函数；S4：基于步骤S3中的对偶距离损失函数采用随机梯度下降法，训练生成器，使之可以生成真实分布；这种基于对偶距离损失的生成对抗网络训练方法，实现通过给定数据的训练收敛到理想结论。

技术领域

本发明涉及对抗学习领域，具体涉及一种基于对偶距离损失的生成对抗网络训练方法。

背景技术

生成对抗网络是一类神经网络，通过轮流训练判别器和生成器，令其相互对抗，来从复杂概率分布中采样，例如生成图片、文字、语音等。

如果原始的生成器和判别器是随机的，则很难确定生成器和判别器是否可以通过给定数据的训练收敛到理想结论。虽然可以证明在某些强假设下，生成器和判别器可以收敛到局部纳什均衡，但许多生成对抗网络算法不能全局收敛。

发明内容

本发明的目的是提供一种基于对偶距离损失的生成对抗网络训练方法，实现通过给定数据的训练收敛到理想结论。

为了实现以上目的，本发明采用的技术方案为：一种基于对偶距离损失的生成对抗网络训练方法，包括以下步骤：

S1：获取目标分布的数据集，以及对数据集进行预处理；

S2：设置生成器和判别器神经网络的结构和参数，以及训练过程中的学习率；

S3：根据步骤S2中的神经网络的参数计算出对偶距离损失函数；

S4：基于步骤S3中的对偶距离损失函数采用随机梯度下降法，训练生成器，使之可以生成真实分布。

进一步的，所述的对偶距离损失函数为

其中其中x_i是真实分布中的样本点，z_i是高斯分布中的样本点，m、n为正整数，f为判别器，g为生成器，和分别为判别器和生成器所在的空间。

进一步的，计算摄动点，然后由所述的摄动点确定对偶距离损失函数，以及优化方向，包括以下步骤：

步骤1：初始化，即对目标数据集进行处理，给定初始状态下的判别器f₀和生成器g₀，设置好参数γ∈(0，2)和以及k＝0，给定两个正整数m和n；

步骤2：数据点的随机选取，即在目标数据集中选取m个点，记作{x₁，...，x_m}，在一个指定的高斯噪声中选取n个点，记作{{z₁，...，z_n}；

步骤3：摄动点的计算，即对于给定的生成器g_k和判别器f_k，考虑计算摄动点以及

步骤4：优化方向计算，即考虑函数的子梯度，记作和而后考虑优化方向，分别为

步骤5：更新步骤，即计算以及以及τ_k＝γE_k/||d_k||²。

进一步的，所述的方法包括很好的泛化性，即至少以1-3δ的概率满足

本发明的技术效果在于：对偶距离损失可以作为传统度量F-distance的一个上界，并且建立了关于对偶距离损失的泛化误差界，在经过预训练之后，收敛到纳什均衡点附近，基于对偶距离损失的生成对抗网络训练方法可以通过传统的鞍点算法达到全局收敛。

附图说明