[发明专利]纹理生成模型的训练方法、图像处理方法及装置

说明书

本发明提供了一种纹理生成模型的训练方法、图像处理方法及装置，涉及图片生成技术领域，包括：获取预渲染得到的训练图像；将训练图像输入至纹理生成模型，通过纹理生成模型针对训练图像输出第一光照参数和第一纹理集；基于第一光照参数、第一纹理集和预设的联合损失函数计算联合损失值；利用联合损失值对纹理生成模型进行训练。本发明可以生成质量较高的纹理，同时显著降低光照对纹理的影响。

技术领域

本发明涉及图像生成技术领域，尤其是涉及一种纹理生成模型的训练方法、图像处理方法及装置。

背景技术

纹理生成是一种图片生成技术，该技术可以根据输入的图片生成相应的纹理贴图，例如可以根据输入的人体图像生成人体模型的纹理贴图，从而为重建的人体模型(Mesh)添加纹理贴图。目前，相关技术中提出可以利用卷积神经网络提取输入图像的图像特征，并从图像特征中对每个顶点进行采样得到每个顶点的颜色特征，然后将每个顶点的颜色特征送入MLP(Multi-Layer Perceptron，多层感知器)中得到最终预测的顶点颜色，从而基于顶点颜色所表征的纹理进行渲染，然而采用这种方式生成的纹理往往会导致渲染得到的表面过于平滑，纹理质量较差，且由于该方法生成的纹理受光照影响，所以将导致生成的纹理带有阴影。

发明内容

有鉴于此，本发明的目的在于提供一种纹理生成模型的训练方法、图像处理方法及装置，训练得到的纹理生成模型可以生成质量较高的纹理，同时显著降低光照对纹理的影响。

第一方面，本发明实施例提供了一种纹理生成模型的训练方法，包括：获取预渲染得到的训练图像；将所述训练图像输入至纹理生成模型，通过所述纹理生成模型针对所述训练图像输出第一光照参数和第一纹理集；基于所述第一光照参数、所述第一纹理集和预设的联合损失函数计算联合损失值；利用所述联合损失值对所述纹理生成模型进行训练。

在一种实施方式中，所述纹理生成模型包括光照估计网络和纹理预测网络；所述通过所述纹理生成模型针对所述训练图像输出第一光照参数和第一纹理集的步骤，包括：通过所述光照估计网络估计所述训练图像的第一光照参数，以及通过所述纹理预测网络生成所述训练图像的第一纹理集。

在一种实施方式中，所述光照估计网络包括下采样卷积层和多层感知层；所述通过所述光照估计网络估计所述训练图像的第一光照参数的步骤，包括：通过所述下采样卷积层提取所述训练图像的光照特征；通过所述多层感知层根据所述光照特征输出所述训练图像的第一光照参数；其中，所述第一光照参数包括环境参数、散射参数、光照强度中的一种或多种。

在一种实施方式中，所述纹理预测网络包括特征提取模块、特征补全模块和纹理解码模块；所述通过所述纹理预测网络生成所述训练图像的第一纹理集的步骤，包括：通过所述特征提取模块提取所述训练图像的可见面片特征和第一不可见面片特征；通过所述特征补全模块基于所述可见面片特征对所述第一不可见面片特征进行补全，得到第二不可见面片特征；通过所述纹理解码模块分别对所述可见面片特征和所述第二不可见面片特征进行解码，得到所述训练图像的第一纹理集。

在一种实施方式中，所述通过所述特征提取模块提取所述训练图像的可见面片特征和第一不可见面片特征的步骤，包括：通过所述特征提取模块内的特征编码器对所述训练图像进行特征提取，得到所述训练图像对应的特征图；基于所述训练图像中各个像素的深度值对所述特征图进行采样，得到可见顶点特征和不可见顶点特征；对属于同一面片的可见顶点特征和/或不可见顶点特征进行平均处理，得到所述训练图像的可见面片特征和第一不可见面片特征；其中，如果所述面片包含一个或多个不可见顶点，确定所述面片对应的特征为第一不可见面片特征；如果所述面片不包含所述不可见顶点，确定所述面片对应的特征为可见面片特征。