[发明专利]利用生成式对抗网络的半监督回归

说明书

本发明提供了一种利用生成式对抗网络(generative adversarial network，简称GAN)执行半监督回归的方法和系统，所述生成式对抗网络包括：生成器，包含第一神经网络；判别器，包含第二神经网络。所述方法和系统包括：所述第一神经网络输出从随机噪声向量获取生成的样本；向所述第二神经网络输入所述生成的样本、多个标记的训练样本和多个未标记的训练样本；所述第二神经网络输出用于多个所述生成的样本和未标记的样本中的每一个的预测连续标记。

相关申请案交叉申请

本申请要求于2017年5月19日递交的发明名称为“利用生成式对抗网络的半监督回归”的第62/508,819号美国临时专利申请的权益和在先申请优先权，以及要求于2017年10月20日递交的发明名称为“利用生成式对抗网络的半监督回归”的第15/789,518号美国专利申请的权益和在先申请优先权，该在先申请的内容以引入的方式并入本文。。

技术领域

本发明涉及生成式对抗网络，特别地，涉及生成式对抗网络中的半监督回归学习。

背景技术

深度学习已经在诸如自然语言处理(natural language processing，简称NLP)、自主驾驶、博弈和无监督学习之类的各种领域中取得了巨大成功。已开发出生成式对抗网络(generative adversarial network，简称GAN)来生成合成的实像。GAN对应于二元极大极小博弈，其中同时训练两个模型：生成模型G，用于捕获数据分布；判别模型D，用于计算样本来自训练数据而不是生成器的概率。

当训练样本不足时，GAN方案可能是有用的。

尽管GAN最近取得了进展，但仍存在关于评估、训练和标记生成的样本的关键问题。

发明内容

本发明的示例性方面提供了一种用于利用生成式对抗网络执行半监督回归的方法和系统。在一些示例中，应用基于GAN的方案，可以生成真实的高质量样本，还可以预测用于训练数据集中的生成的样本和未标记的样本的连续标记。

在示例性实施例中，公开了一种GAN，用于基于训练数据集来预测连续标记，所述训练数据集仅具有有限数目的标记的样本。还可以预测用于未标记的训练样本和生成的样本的标记。所述GAN可以应用于例如自主驾驶应用，例如确定转向角。

根据第一方面，提供了一种用于训练生成式对抗网络(generative adversarialnetwork，简称GAN)的方法，所述生成式对抗网络包括：生成器，包含第一神经网络；判别器，包含第二神经网络。所述方法包括：所述第一神经网络输出从随机噪声向量获取生成的样本；向所述第二神经网络输入所述生成的样本、多个标记的训练样本和多个未标记的训练样本；所述第二神经网络输出用于多个所述生成的样本和未标记的样本中的每一个的预测连续标记。

在一些示例性实施例中，所述第二神经网络输出每个连续标记为归一化值。在一些示例中，所述方法包括：所述第二神经网络输出所输入样本是实际样本的概率。

在一些示例性实施例中，所述方法包括：确定生成的样本是实际样本并且基于为生成的样本预测的所述连续标记的概率。在一些示例中，确定所述概率通过核函数执行，基于连续标记的所述归一化值是否在预先确定的范围内。

在一些示例中，所述标记的训练样本包括运动车辆的一系列前置摄像头图像样本，每一个所述标记的训练样本都标记有转向角。

在一些示例中，在所述神经网络的参数收敛之前，所述方法包括：重复以下操作：所述第一神经网络输出生成的样本；向所述第二网络输入所述生成的样本、标记的训练样本和未标记的训练样本；所述第二神经网络输出预测的连续标记。在每次重复期间，计算所述第二神经网络和所述第一神经网络各自的损失函数；基于所述计算的损失函数，调整所述第二神经网络和所述第一神经网络的权重参数。