[发明专利]一种基于显式构图规则建模的智能图像裁剪方法及装置

说明书

本发明公开了一种基于显式构图规则建模的智能图像裁剪方法及装置，属于图像美学与多媒体技术领域，方法包括：i)利用深度卷积网络作为骨架网络对输入图像进行特征提取；ii)对于构图分支，基于类别激活映射技术生成每类构图规则的置信度以及相应的类别激活图，并将其融合为关键要素图；iii)对于裁剪分支，对骨架网络的特征图进一步编码，在原图中预设均匀的锚点，裁剪网络输出这些锚点与标注裁剪框的偏移量；利用关键要素图对每个预设的锚点进行加权，得到预测裁剪框；iv)利用损失函数对整个网络进行优化。本发明关注了裁剪结果的构图可解释性，提高了裁剪结果的构图质量，具有很高的处理速度，实时性强。

技术领域

本发明属于图像美学与多媒体技术领域，更具体地，涉及一种基于显式构图规则建模的智能图像裁剪方法及装置。

背景技术

随着生活水平的提高，人们已经不能仅仅满足于物质追求，越来越多的艺术、美学元素融入到了人们的生活当中。美学作为一个抽象的认知概念，对于计算机的学习来说具有巨大的挑战性。随着数字化摄影和多媒体技术的发展，越来越多的研究着力于美学相关的领域，旨在让计算机也能够认知美学。

智能图像裁剪是用于提升图像美学效果的有效途径之一，它被广泛地应用于摄影图像的后处理中。图像裁剪的目的是将图像中冗余的部分裁去，合理地安排各个构图元素的分布，从而改善图像的整体构图，提升图像的美学质量。图像裁剪可以应用于多视角推荐、海报生成、图像缩略图生成等应用中，并且在人们日常“晒图”时，提供更加生动的高质量图像。

目前的图像裁剪算法分成三类：(1)基于显著性的图像裁剪算法；(2)基于美学的图像裁剪算法；(3)基于强化学习的图像裁剪算法。基于显著性的方法目的在于保留图像中的显著区域，但其裁剪结果通常缺乏美感。基于美学的方法将任务转换成了如何对具有相似内容的不同裁剪候选框进行美学评分，这些方法通常为数据驱动，即利用专家标注的数据集对网络进行训练，在这些方法中并未对美学的概念进行定义。基于强化学习的方法将裁剪建模成了序列化的多步移动过程，将美学评分作为优化目标，引导智能体进行序列化的移动，从而学习图像中的最佳裁剪方式。基于强化学习的方法提供了一种新的建模方式，更加符合人的裁剪过程。但以上方法都没能挖掘图像裁剪任务的本质特性，即对于构图规则和元素的学习和编码。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于显式构图规则建模的智能图像裁剪方法及装置，其目的在于将构图规则显式地建模到网络当中，实现可解释性裁剪过程，网络可以同时输出裁剪结果、构图规则以及构图依据。

为实现上述目的，本发明提供了一种基于显式构图规则建模的智能图像裁剪方法，包括以下步骤：

S1，获取裁剪数据集和构图数据集并利用骨架网络提取相应特征，得到裁剪特征图和构图特征图，所述裁剪数据集和构图数据集分别标注裁剪框和构图规则；

S2，将所述构图特征图输入构图分支，以对所述构图特征图进行解码，并利用类别激活映射技术，生成每类构图规则的置信度以及相应的类别激活图，再进行加权得到关键要素图；

S3，将所述裁剪特征图输入裁剪分支，以对所述裁剪特征图进行编码，并预测预设锚点与标注裁剪框的偏移量，再基于所述偏移量和裁剪关键要素图得到预测的裁剪框；其中，所述预设锚点设置在原始图像上，所述裁剪关键要素图是通过将所述裁剪特征图输入构图分支得到；

S4，根据S2中所述置信度与标注的构图规则计算第一损失函数，根据所述S3中预测的裁剪框和标注的裁剪框计算第二损失函数；并利用所述第一损失函数和第二损失函数优化所述骨架网络、构图分支和裁剪分支；

S5，将待裁剪图像输入优化后的骨架网络，再并行输入优化后的构图分支和裁剪分支，得到裁剪结果。

进一步地，所述骨架网络采用在ImageNet上预训练的VGG-16，且由所述VGG-16除最后一个最大池化层的所有卷积块构成。