[发明专利]一种基于隐空间特征编辑的多尺度特征融合祛颈纹方法

说明书

本发明公开了一种基于隐空间特征编辑的多尺度特征融合祛颈纹方法。其中，包括：将待祛颈纹的图像进行分割获得颈部掩膜；根据颈部掩膜获取颈部图像块以及掩膜图像块；基于颈部图像块以及掩膜图像块获得具有n个通道的隐空间特征；对隐空间特征进行预处理得到预处理后的隐空间特征；基于预处理后的隐空间特征进行融合解码得到祛颈纹初步结果图；基于祛颈纹初步结果图进行后处理得到祛颈纹后的结果图。本发明使用颈部掩膜作为引导，避免对非颈部的纹产生误伤，避免对颈部的饰品产生误伤，使祛颈纹效果更加准确可靠。不依赖于精度要求较高的颈纹分割模型，更加灵活和容易使用。由于不依赖具体类型纹的分割模型，适用于更广范围的人像美颜算法。

技术领域

本发明涉及美颜技术领域，尤其涉及一种基于隐空间特征编辑的多尺度特征融合祛颈纹方法。

背景技术

目前的祛颈纹算法主要先使用颈纹分割模型得到待祛颈纹图像中的颈纹掩膜，然后对颈纹区域进行处理，最后将原图与处理结果融合，得到最终的祛颈纹结果图。这种祛颈纹算法强依赖颈纹分割模型，研发时颈纹分割数据标注成本较大，若颈纹分割模型无法得到准确的颈纹眼膜，效果则不理想，例如去不干净、不生效或是误伤其它类型的纹。随着自拍和摄影的需求日益增多，用户对人像美化算法的效果和可靠性提出了更高要求。对于祛颈纹算法而言，将各式各样的颈纹祛除干净是基本目标，避免对下颌线、手纹、项链等产生误伤是重要方面，祛除“轮胎纹”类型的颈纹后保持原颈纹区域肤色均匀是算法需要关注的又一重点。

发明内容

有鉴于此，本发明的目的在于提出一种基于隐空间特征编辑的多尺度特征融合祛颈纹方法，能够摆脱祛颈纹算法对颈纹分割模型的依赖，去除人像中的颈纹，美化人像。

根据本发明的一个方面，提供一种基于隐空间特征编辑的多尺度特征融合祛颈纹方法，包括：将待祛颈纹的图像进行分割获得颈部掩膜；根据颈部掩膜获取颈部图像块以及掩膜图像块；基于颈部图像块以及掩膜图像块获得具有n个通道的隐空间特征，该隐空间特征是由CNN对颈部图像块与掩膜图像块按通道拼接后的4通道图像进行特征提取后得到的维度为n×h×w的特征图，其中n表示特征图的层数，h表示特征图的高度，w表示特征图的宽度；对隐空间特征进行预处理得到预处理后的隐空间特征；基于预处理后的隐空间特征进行融合解码得到祛颈纹初步结果图；基于祛颈纹初步结果图进行后处理得到祛颈纹后的结果图。

在上述技术方案中，使用颈部掩膜作为引导，避免对非颈部的纹(例如唇纹、放在颈部的手的手纹)产生误伤，避免对颈部的饰品产生误伤，使祛颈纹效果更加准确可靠。不依赖于精度要求较高的颈纹分割模型，更加灵活和容易使用。由于不依赖具体类型纹的分割模型，适用于更广范围的人像美颜算法。

在一些实施例中，根据颈部掩膜获取颈部图像块以及掩膜图像块，具体包括：根据颈部掩膜计算对齐矩阵，将待祛纹的图像和颈部掩膜进行对齐，得到高、中、低三种不同分辨率的颈部图像块和颈部掩膜图像块。

在上述技术方案中，这样设置的优点是使算法能够更好地捕捉与颈纹相关的特征。由于颈纹形态繁多，淡纹、深纹、细纹、粗纹交错，固定尺寸的CNN卷积核感受野有限，在较高分辨率下，淡纹、细纹的特征能够被更准确地捕捉，在较低分辨率下，深纹、粗纹区域的像素点与周边像素点的关系能被更好地学习。

在一些实施例中，基于颈部图像块以及掩膜图像块获得具有n个通道的隐空间特征，具体包括：

按从低分辨率到高分辨率的顺序，在每一种分辨率下，将颈部图像块和颈部掩膜图像块按通道拼接后进行特征提取，得到具有n个通道的隐空间特征。该隐空间特征是由CNN对颈部图像块与掩膜图像块按通道拼接后的4通道图像进行特征提取后得到的维度为n×h×w的特征图，其中n表示特征图的层数，h表示特征图的高度，w表示特征图的宽度。较底分辨率下提取到的特征复用于上一级分辨率的特征提取过程中。将颈部图像块与颈部掩膜图像块组合成4通道的图像，通过颈部掩膜图像块提供给算法需要处理的区域的信息。