[发明专利]图像处理模型的训练方法、图像处理方法、装置及介质

说明书

本公开提供了一种图像处理模型的训练方法、图像处理方法、装置及介质。涉及计算机技术领域，具体涉及计算机视觉、深度学习、增强现实等人工智能技术领域。具体实现方案为：将样本面部图输入第一图像处理模型，获取样本面部图的纹理系数；基于纹理系数和纹理基底生成初始纹理图；将从样本面部图提取的目标区域图输入第二图像处理模型，获取样本面部图的目标对象偏移特征图；基于初始纹理图和目标对象偏移特征图，得到最终纹理图；基于最终纹理图生成样本面部图的渲染图；基于渲染图和标签渲染图构建损失函数；基于损失函数分别对第一图像处理模型和第二图像处理模型的参数进行调整。根据本公开的技术方案，能提升重建结果与原始面部的相似度。

技术领域

本公开涉及计算机技术领域，具体涉及计算机视觉、深度学习、增强现实等人工智能技术领域。

背景技术

随着计算机视觉、计算机技术等相关领域的飞速发展，面部三维重建技术也在不断更新。面部三维重建中除了对面部形状进行重建，还需要生成对应的面部纹理图，而如何提升重建结果与原始面部的相似度是亟待研究和改进的课题。

发明内容

本公开提供了一种图像处理模型的训练方法、图像处理方法、装置及介质。

根据本公开的第一方面，提供了一种图像处理模型的训练方法，包括：

将样本面部图输入第一图像处理模型，获取第一图像处理模型输出的样本面部图的纹理系数；

基于纹理系数和纹理基底生成样本面部图的初始纹理图；

将从样本面部图提取的目标区域图输入第二图像处理模型，获取第二图像处理模型输出的样本面部图的目标对象偏移特征图；

基于初始纹理图和目标对象偏移特征图，得到最终纹理图；

基于最终纹理图生成样本面部图的渲染图；

基于渲染图和样本面部图的标签渲染图构建损失函数；

基于损失函数分别对第一图像处理模型和第二图像处理模型的参数进行调整。

根据本公开的第二方面，提供了一种图像处理方法，包括：

将待处理面部图输入第一图像处理模型，获取第一图像处理模型输出的待处理面部图的纹理系数；

基于纹理系数和纹理基底生成待处理面部图的初始纹理图；

将从待处理面部图提取的目标区域图输入第二图像处理模型，获取第二图像处理模型输出的待处理面部图的目标对象偏移特征图；

基于初始纹理图和目标对象偏移特征图，得到最终纹理图；

其中，第一图像处理模型和第二图像处理模型采用根据第一方面提供的图像处理模型的训练方法得到。

根据本公开的第三方面，提供了一种模型训练装置，包括：

第一获取模块，用于将样本面部图输入第一图像处理模型，获取第一图像处理模型输出的样本面部图的纹理系数；

第一生成模块，用于基于纹理系数和纹理基底生成样本面部图的初始纹理图；

第二获取模块，用于将从样本面部图提取的目标区域图输入第二图像处理模型，获取第二图像处理模型输出的样本面部图的目标对象偏移特征图；

第二生成模块，用于基于初始纹理图和目标对象偏移特征图，得到最终纹理图；

第三生成模块，用于基于最终纹理图生成样本面部图的渲染图；

构建模块，用于基于渲染图和样本面部图的标签渲染图构建损失函数；

训练模块，用于基于损失函数分别对第一图像处理模型和第二图像处理模型的参数进行调整。