[发明专利]图像处理网络的训练方法及装置、图像处理方法及装置

说明书

本公开关于一种图像处理网络的训练方法及装置、一种图像处理方法及装置。该图像处理网络的训练方法包括：获取训练图像和训练图像的三分图以及训练图像的阿尔法值；基于训练图像和训练图像的三分图获得训练图像的语义三分图，其中，语义三分图包含关于图像中各个不同区域的像素属于多个不同类别阿尔法模式的置信度的信息；基于训练图像、训练图像的三分图、训练图像的语义三分图以及训练图像的阿尔法值对所述图像处理网络进行训练。根据本公开的图像处理网络的训练方法及装置，可使得图像处理网络在训练时收敛的更好。根据本公开的图像处理方法及装置，可提高图像处理效果。

技术领域

本公开涉及视频技术领域。更具体地，本公开涉及一种图像处理网络的训练方法及装置、一种图像处理方法及装置。

背景技术

在抠图任务中，一张图片可以认为是前景图像和背景图像的线性组合，组合的系数就是待求解的阿尔法值(Alpha)，也被称为透明度图层。常见的前景物体有很多种类，包括人像，动物，透明或半透明的物体比如玻璃杯/纱裙，以及形状复杂的物体比如蜘蛛网/树木等，这些各种各样的前景物体极大的增加了抠图问题的难度，使得抠图任务更具有挑战性。

由于在不提供额外条件的情况下，算法无法定义前景物体，所以相关算法通常需要用户输入来指定前景物体，其中最常用的用户输入是三分图(trimap图)。三分图由三部分组成，分别是前景区域、背景区域、以及未知区域，而不包含任何的语义类别信息，即三分图并不提供任何和前景物体类别相关的信息。

发明内容

本公开的示例性实施例在于提供一种图像处理网络的训练方法及装置、图像处理方法及装置，以至少解决相关技术中的图像处理的问题，也可不解决任何上述问题。

根据本公开的示例性实施例，提供一种图像处理网络的训练方法，包括：获取训练图像和训练图像的三分图以及训练图像的阿尔法值；基于训练图像和训练图像的三分图获得训练图像的语义三分图，其中，语义三分图包含关于图像中各个不同区域的像素属于多个不同类别阿尔法模式的置信度的信息；基于训练图像、训练图像的三分图、训练图像的语义三分图以及训练图像的阿尔法值对所述图像处理网络进行训练。

可选地，对所述图像处理网络进行训练的步骤可包括：将训练图像、训练图像的三分图和训练图像的语义三分图输入到所述图像处理网络中，获得训练图像的每个区域的像素的阿尔法预测值；基于训练图像的每个区域的像素的阿尔法预测值和训练图像的阿尔法值确定所述图像处理网络的预测损失；根据预测损失对所述图像处理网络的参数进行调整。

可选地，基于训练图像的每个区域的像素的阿尔法预测值和训练图像的阿尔法值确定所述图像处理网络的预测损失的步骤可包括：将训练图像的每个区域的像素的阿尔法预测值和训练图像的阿尔法值输入到预设的多类别判别器中，获得针对阿尔法预测值和阿尔法值的预测结果以及在判别过程中多类别判别器的每个网络层提取出的特征图；基于所述预测结果和所述特征图，确定所述图像处理网络的分类损失以及特征重建损失。

可选地，基于训练图像的每个区域的像素的阿尔法预测值和训练图像的阿尔法值确定所述图像处理网络的预测损失的步骤还可包括：确定所述图像处理网络的可学习参数；基于训练图像的每个区域的像素的阿尔法预测值和所述图像处理网络的可学习参数，确定所述图像处理网络的阿尔法梯度分布损失。

可选地，基于训练图像和训练图像的三分图获得训练图像的语义三分图的步骤可包括：将训练图像和训练图像的三分图输入到预设的分类器中，通过所述分类器获得训练图像的每个区域的像素属于所述多个不同类别的阿尔法模式的置信度；基于训练图像的每个区域的像素属于所述多个不同类别的阿尔法模式的置信度，获得训练图像的语义三分图。