[发明专利]语义级图片解耦及生成优化方法

说明书

本发明公开了一种语义级图片解耦及生成优化方法，该方法基于自监督解耦表征学习技术，利用对比学习和像素级格拉姆矩阵作为约束来更新β变分自编码器的中编码器和解码器的系数权重，从而获得语义级的解耦表征并通过解耦表征生成更加清晰的图片。该技术可以应用于各类图片编辑软件，包括对图片中人脸表情的编辑、事物形状和位置的编辑等，具有很大的商业价值。

技术领域

本发明涉及计算机视觉、模式识别等技术领域，主要涉及的是对图片内容进行语义级解耦以及对解耦出来的特征进行解码生成新的可编辑的图片。该技术可以应用于各类图片编辑软件，包括对图片中人脸表情的编辑、事物形状和位置的编辑等，具有很大的商业价值。

背景技术

语义级图片解耦及生成优化方法是一种基于自监督解耦表征学习的图片编辑技术。随着人工智能技术的飞速发展，自监督学习的优势地位愈发显著。相比监督学习，其主要优势在于不需要人工大量标注数据标签。并且监督学习的算法往往存在数据使用效率低下的问题，尤其缺乏生物智能所特有的泛化性和鲁棒性。

自监督解耦表征学习很好的解决了特征复用性的问题。基于该技术设计出来的模型可以依靠解耦出来的特征生成新的图片。这些独立同分布的特征在某些情境下也被称为变差因素，2011年Courville等人提出了钉板约束的玻尔兹曼机用于清理数据中明显的变差因素。一般来讲，用于研究数据中的变差因素的模型方法称为解耦表征学习。但是到目前为止，对解耦表征学习还没有统一的定义，但通常采用2013年Bengio等人的说法，即一种表征，其中一个维度的变化对应于一个变化因子的变化，而其他因子相对不变。具体而言，解耦表征学习实质上是对数据形态的独立特征进行建模，使得解耦出来的某一特征变化的同时其他特征保持不变。因此，基于自监督解耦表征学习设计出的模型具有可解释性，具备对象生成和操作的特点。2013年Kingma等人提出了变分自编码器模型，该模型的一大特点是可以获得内容较为简单图片中的结构变化，如形状变化、倾斜角度等。2016年Higgins等人对变分自编码器的目标函数进行修改，提出了视觉解耦表征学习模型β-VAE。该模型解耦出来的表征往往包含一定的视觉意义，如对人脸图片使用β-VAE模型解耦，可以获得头发长短、眼睛大小等语义特征。

解耦表征学习在图像处理方面具有强大优势。相较于传统的图片编辑技术，解耦表征学习在此方面的功能更加丰富，如直接对图片中人物表情进行编辑，编辑后生成的照片比基于生成对抗模型的应用更加逼真。并且解耦表征学习在可解释性方面存在显著优势，使得基于此技术的应用场景更加广阔。

发明内容

发明目的：针对常规图像编辑方法在人脸图片中表情编辑遇到的问题，如人脸表情捕获不精准、表情属性细节处理程度不足、表情编辑过程中连带人脸其他属性发生变化以及编辑后的图片失真、不清晰等问题。本发明通过深度学习技术，将β变分自编码器模型、对比学习技术以及格拉姆矩阵相结合，解决上述一般图片编辑软件的问题，对人脸图片中的表情要素定向建模，使得编辑后的图片更加自然、逼真。

技术方案：本发明提出了一种语义级图片解耦及生成优化方法，包括以下步骤：

步骤(1)：将像素尺寸为64×64的原始图片输入编码器，经过下采样卷积层和全连接层获取低维解耦表征；

步骤(2)：把低维解耦表征输入解码器，经过全连接层和上采样卷积层获取像素尺寸为64×64的重建图片；

步骤(3)：将原始图片、重建图片以及随机抽取其他批次中图片分别作为锚定样本、正例样本和负例样本，其中每一批次中的锚定样本、正例样本和负例样本的数量分别为1张、1张和127张。把这三类样本输入对比学习模块中，同时利用该模块中的对比损失函数来不断地更新编码器和解码器中的系数权重；