[发明专利]一种基于隐空间操作和文本引导的自适应图像编辑方法

说明书

本发明提供的一种基于隐空间操作和文本引导的自适应图像编辑方法，将待编辑图像输入至训练好的自适应方向隐空间映射ADLM网络，通过对图像自适应的逐信道组操作，可以提高图像编辑的效率，此外通过利用多模态融合网络的语义一致性损失，强制对齐预估编辑图像与对应的历史图像之间的差异值，与给定的描述文本的语义变化方向，以实现精确对齐图像属性与文本提示之间的一致性关系，确保ADLM网络对待编辑图像进行逐信道组操作的精确属性解耦，同时提出基于离散空间频率的重建损失，用于保留图像的不相关部分，从而确保编辑过程与文本提示不相关的部分在编辑时不被修改，以提高输出预估编辑图像的完整性。

技术领域

本发明属于图像编辑技术领域，具体涉及一种基于隐空间操作和文本引导的自适应图像编辑方法。

背景技术

图像编辑是一种通过修饰图像从而实现用户需求的编辑技术，为了保证被编辑的图像满足要求和兴趣，图像编辑任务同时应对两个挑战：(1)编辑相关性：根据给定条件精确编辑相关属性；(2)保持不相关性：不相关的部分(如标识信息、背景或其他属性)在编辑时不可以修改。由于属性的强耦合，同时满足这两个要求是一项棘手的任务。

针对上述问题，近年来的各种方法大多以两种方式探讨属性解耦的问题。Jeong-gi Kwak和David K Han等人在2020年的European Conference on Computer Vision会议上发表的名为“Cafe-gan：Arbitrary face attribute editing with complementaryattention feature”的文章，文章采用空间注意力检测的方式，通过在空间上搜索特定的支持区域来解耦属性，只在这样一个有限的区域内对图像进行操作。显然，当编辑的属性是全局属性时，这些方法可能会忽略支持区域之外必要的细节，比如“化妆”或“年龄”。YujunShen和Jinjin Gu等人在2020年的Computer Vision and Pattern Recognition会议上发表的名为“Interpreting the latent space of gans for semantic face editing”的文章，通过预训练GAN进行隐空间分解。这类方法以高级语义为指导，在隐空间中对图像进行处理，更适合处理全局和局部属性编辑。然而，由于语义的过度耦合，这些方法在没有强有力的监督的情况下很难对特定的属性进行操作，因此上述图像编辑方法并不能满足客户需求。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于隐空间操作和文本引导的自适应图像编辑方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供的一种基于隐空间操作和文本引导的自适应图像编辑方法，包括：

步骤1，获取历史图像组成的训练样本集，并为每张历史图像增加用于描述图像属性的描述文本；

步骤2，提取每张历史图像的图像特征，并对所述图像特征进行多风格的反演编码，获得每张历史图像的隐向量；

步骤3，将所述每张历史图像的隐向量输入至已构建的自适应方向隐空间映射ADLM网络，以使ADLM网络将执行下述过程：

将所述每张历史图像的隐向量分为g个信道组；将每个信道组的隐向量隐射至W+空间，获得解耦的不同属性特征；计算每个属性特征的范数并从大到小进行排序，选择范数排序在前k个信道组对应的目标属性特征，对所述目标属性特征进行隐层操作，在隐层操作之后与每个信道组未映射之前的隐向量作残差处理，并通过监督学习的方式，输出每张历史图像的预估编辑图像；

步骤4，利用多模态融合网络，根据每张预估编辑图像与对应历史图像之间的差异值，计算给定的描述文本与差异值的语义一致性损失以及每张历史图像与预估编辑图像之间的重建损失，并按照使得所述语义一致性损失以及所述重建损失减少的方向，调整所述ADLM网络的参数以训练所述ADLM网络，直至达到训练截止条件，获得训练好的ADLM网络；