[发明专利]一种基于对抗域适应的图像智能裁剪方法及系统

说明书

本发明提供了一种基于对抗域适应的图像智能裁剪方法及系统，属于计算机视觉领域，方法具体为：将目标应用场景下待裁剪的目标域图像输入至训练后的特征提取器，获取全局特征；按照预设的裁剪方式，对全局特征进行重采样；区域特征输入至美学分类器进行美学评分，筛选裁剪结果；特征提取器的训练过程为：将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器，且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本全局特征的能力；并根据美学损失调节自身参数，学习美学分析能力；美学分类器的训练是根据美学损失调节自身参数。本发明解决了现有智能裁剪方法在跨域测试时性能显著下降的问题。

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于对抗域适应的图像智能裁剪方法及系统。

背景技术

智能裁剪任务是从原始图像中裁剪出构图更合理的区域作为新的生成图，用高质量的生成图代替低质量的原图。因为其只涉及裁剪，操作简便，却能显著提升图像的美学质量，图像裁剪作为一项图像编辑操作被广泛运用。然而手工裁剪需要一定的技术门槛，不仅耗费时间，也不是所有人都能掌握的技能。因此，利用智能算法自动裁剪就变得很有意义。相比于手工裁剪，智能裁剪既不需要使用者具有极高的美学素养，也不需要了解诸如三分法、对角线法等构图法则，可以快速地对大量图像做出相对合理的裁剪，并呈现给用户自己筛选。

目前的智能裁剪方法从训练和测试数据分布上分为两大类，第一类是在测试域上有美学监督的裁剪算法，其监督信息包含每个裁剪子图的美学标签；第二类在测试域上无监督的构图算法，这类算法需要依靠训练域标签学习美学鉴赏能力，并在测试域泛化和推理。对于第二类问题，通常将训练样本所在的域称为源域，测试样本所在域称为目标域。在实际应用中，研究者无法预测待裁剪样本所属的域，也无法针对每一种场景准备一套训练集。训练样本所在的源域和测试样本所在的目标域往往存在差异，而这种差异将导致训练完毕的模型在目标域场景中性能下降，该现象被称作域偏移。

现有智能裁剪算法没有针对解决域偏移问题，大部分裁剪算法都是在单一数据集上训练，并认为训练好的模型可以适应大多数情况。但事实上，智能裁剪任务中也存在明显的域偏移问题，在跨域和跨数据集测试的过程中，现有的裁剪模型性能会显著下降。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于对抗域适应的图像智能裁剪方法及系统，旨在解决现有的智能构图方法由于未考虑域迁移问题而造成的在跨域跨数据集测试时，裁剪模型性能显著下降的问题。

为实现上述目的，一方面，本发明提供了一种基于对抗域适应的图像智能裁剪方法，包括以下步骤：

将目标应用场景下待裁剪的目标域图像输入至训练后的特征提取器，获取全局特征；

按照预设的裁剪方式，对所述全局特征进行重采样，获取的区域特征输入至训练完毕的美学分类器中进行美学评分，筛选出裁剪结果；

其中，特征提取器的训练过程为：将基于目标域样本计算的域适应损失反传的梯度反转后传输至特征提取器，保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本的全局特征的能力；且根据美学损失调节自身参数，学习美学分析能力；美学分类器的训练过程是根据美学损失调节自身参数；

目标域样本为目标应用场景下任一无标签图像，源域样本为另一场景下有裁剪子图和美学标签的图像；域适应损失为基于样本域标签与域判别结果获取；域判别结果为全局特征输入域判别器获取；美学损失为结合美学分数和美学标签计算获取。

优选地，训练特征提取器和美学分类器的方法，包括以下步骤：

将目标域样本和源域样本输入至特征提取器提取全局特征；

将全局特征输入至域判别器，输出的域判别结果与样本域标签相结合，计算域适应损失；且对全局特征进行重采样获取区域特征；其中，区域特征的通道维度与裁剪子图对应；