[发明专利]渲染图像获取方法、装置、系统和存储介质

说明书

本发明提供了一种渲染图像获取方法、装置、系统和存储介质，该方法包括：获取用于特定视觉任务训练的真实图像，并利用真实图像基于对抗学习训练渲染模型直到训练结束，渲染模型包括渲染器和分类器，分类器用于区分输入图像是真实的还是渲染得到的；获取渲染模型训练结束时渲染器采用的渲染参数作为最佳渲染参数，并采用渲染器基于最佳渲染参数生成用于特定视觉任务训练的最佳渲染图像。根据本发明实施例的渲染图像获取方法、装置、系统和存储介质利用对抗学习训练渲染器和分类器，使得能够针对特定逻辑的渲染器以及特定的计算机视觉任务全自动地选取效果最好的渲染参数，从而生成最佳渲染图像，能够有效且高效地提升计算机视觉任务的效果。

技术领域

本发明涉及计算机视觉技术领域，更具体地涉及一种渲染图像获取方法、装置、系统和存储介质。

背景技术

纯渲染图像或生成图像被广泛应用在计算机视觉领域，用于解决计算机视觉任务中训练数据不足、标注数据不足等问题。渲染图像的真实度在这个过程中尤其重要，过于虚假的渲染图像非常不利于计算机视觉任务效果的提升。

针对一个特定逻辑的渲染系统，渲染图像的真实性取决于渲染参数的选取，而目前并没有一个合理的方法来自动选取这些参数，基本靠人工经验，这基本决定了渲染数据对视觉任务效果的提升全靠人工经验，不仅效率低下且可靠性不高。

发明内容

本发明提出了一种关于渲染图像获取方案，其利用对抗学习训练渲染器和分类器，使得能够针对特定逻辑的渲染器以及特定的计算机视觉任务全自动地选取效果最好的渲染参数，从而生成最佳渲染图像，能够有效且高效地提升计算机视觉任务的效果。下面简要描述本发明提出的关于渲染图像获取方案，更多细节将在后续结合附图在具体实施方式中加以描述。

根据本发明一方面，提供了一种渲染图像获取方法，所述方法包括：获取用于特定视觉任务训练的真实图像，并利用所述真实图像基于对抗学习训练渲染模型直到训练结束，其中，所述渲染模型包括渲染器和分类器，所述分类器用于区分输入图像是真实的还是渲染得到的；以及获取所述渲染模型训练结束时所述渲染器采用的渲染参数作为最佳渲染参数，并采用所述渲染器基于所述最佳渲染参数生成用于所述特定视觉任务训练的最佳渲染图像。

在一个实施例中，所述利用所述真实图像基于对抗学习训练渲染模型直到训练结束包括：获取m个随机数，将所述m个随机数输入所述渲染器得到m个渲染图像，其中m为大于或等于1的整数；将所述m个渲染图像和所述真实图像中的n个图像分别输入所述分类器，得到m+n个分类结果，并基于所述m+n个分类结果计算所述分类器的损失函数，其中n为大于或等于1的整数；根据所述分类器的损失函数，采用梯度下降法更新所述分类器的参数，完成所述分类器的一次训练；计算所述m个渲染图像的每个渲染图像中每个像素值对所述渲染器当前采用的渲染参数的第一偏导数，并计算所述分类器的损失函数对输入所述分类器的每个渲染图像中每个像素值的第二偏导数；基于所述第一偏导数和所述第二偏导数计算当前渲染参数的梯度，并根据梯度下降法更新所述渲染器采用的渲染参数，从而完成所述渲染模型的一次训练；以及迭代上述步骤直到所述渲染模型训练结束。

在一个实施例中，所述基于所述第一偏导数和所述第二偏导数计算渲染参数的梯度包括：将所述第一偏导数与所述第二偏导数进行乘法运算，以得到所述分类器的损失函数对所述当前渲染参数的第三偏导数作为所述当前渲染参数的梯度。

在一个实施例中，所述根据梯度下降法更新所述渲染器采用的渲染参数包括：将所述第三偏导数与学习率进行乘法运算，并将所述当前渲染参数与所述乘法运算的结果进行减法运算以得到更新后的渲染参数。

在一个实施例中，所述基于所述m+n个分类结果计算所述分类器的损失函数包括：基于所述m+n个分类结果中的每一个计算一个子损失函数，并将得到的m+n个子损失函数之和作为所述分类器的损失函数，或者将得到的m+n个子损失函数的平均值作为所述分类器的损失函数。