[发明专利]一种知识与数据共同驱动的人像构图指引方法及装置

说明书

本发明公开了一种知识与数据共同驱动的人像构图指引方法及装置，涉及数字摄影技术领域。所述方法包括：对收集到人像照片进行预处理，构建训练数据集；使用所述训练数据集，训练一深度卷积神经网络，得到人像构图指引模型；将摄像的预览图输入所述人像构图指引模型，得到引导信息；基于引导信息，变换所述预览图的构图。本发明不局限于有限的预定义构图模板，对人像数据进行内容扩增，采用了4分支结构来学习其中的人像构图信息并基于此为用户提供拍摄的构图建议。

技术领域

本发明涉及数字摄影领域，尤其涉及一种知识与数据共同驱动的人像构图指引方法及装置。

背景技术

数码相机和智能手机的普及促进了人们对摄影的需求，包含生活记录、旅游纪念等多种需求场景。同时智能手机搭载上即时即连的互联网为社交媒体的蓬勃发展提供了沃土，人们随时随地都可以拍照记录，并在社交媒体上分享，通过他人的互动来获得心理上的满足感，这就促使拍照用户逐渐有了提升自己摄影水平的意愿。一张高质量照片应该具备鲜明的主题、突出的主体、简洁的画面、良好的光线和适当的景深等因素，其中前三个因素可以统称为构图，如果在前期拍摄时没有使用合适的构图，那么即使有后期处理也很难大幅度提升图像的美感，可见构图对于图像美感的好坏通常具有决定性的作用。

目前常见的摄影构图规则有三分法、平衡、对称构图、几何构图等，使用这些构图规则基本上就能让拍照用户在前期就拍摄出一张良好的照片。这对于拥有专业知识的摄影师来说并不难，但对于普通用户来讲，仍然具有一定的挑战：既要求普通用户掌握构图的理论基础，还能够将构图理论技巧直接应用于实际拍照操作中，这显然是很困难的。因此在移动端通过技术辅助用户拍摄照片时调整构图是人像构图领域的热点研究问题之一。

面对普通用户构图难的问题，研究人员提出了不同的解决方案。现有的人像构图算法主要有三大类：预定义构图规则+人体位置大小计算、生成候选子视图+美学评分网络、构图数据库+图像特征检索匹配。通过对预定义的构图规则建模，结合相机的预览场景计算出得分高的人体站位和比例推荐给用户，这种方法的缺陷是基于固定的预览场景推荐站位和大小，没有考虑到现有场景的构图；生成候选子视图找到最佳视图的方法也是基于固定场景，如果当前场景不具备具有较好构图的子视图那么生成的推荐并非最佳选择得到的是次优结果；而根据构图库进行场景结构或是语义特征匹配推荐的方法过于依赖大量的数据，如果数据中无与预览场景契合的图片，那么推荐的就不准确。

深度卷积神经网络的出现和其强大的学习能力和特征表示能力为图像领域的工作带来了新的技术路线。早期的拍摄构图方法较为固定单一，直接在预览图上呈现出定义好的构图线来辅助用户拍摄，在深度卷积神经网络出现后，一些工作依靠预定义的构图规则与前端检测的人脸与预览图的比例来调整构图或是通过网络模型根据预定义的构图模板从数据中学习，再根据预览图像直接预测适合的构图模板提供给前端用户；有的工作是为图像定义各种属性来训练美学打分模型直接在前端显示出美学分数来提示用户修改构图；一部分是直接将图像裁剪的技术应用于前端为用户推荐子视图构图；还有一部分工作是借助于神经网络的特征学习能力学习预览图的构图特征并与后台准好的图库进行特征匹配，根据其构图差异进行推荐。虽然类似于上述基于神经网络技术的方法通过大量数据学习解决了构图单一的问题，但是尚未解决现有的人像构图推荐是基于用户的固定预览场景，推荐的人像构图是基于次优的预览图推荐的次优结果的问题。

发明内容

为了解决上述技术问题，本发明提出了一种知识与数据共同驱动的人像构图指引方法及装置，用于辅助用户在拍摄人像照时根据变换信息来修改预览构图，改善最终成片的构图。对于给定的一张输入人像照片，本发明提出的方法能够判断当前图像构图是否应该进行变换、具体应该怎么变换。

本发明的技术方案包括：

一种知识与数据共同驱动的人像构图指引方法，其步骤包括：

对收集到人像照片进行预处理，构建训练数据集；