[发明专利]一种知识与数据共同驱动的人像构图指引方法及装置

权利要求书

1.一种知识与数据共同驱动的人像构图指引方法，其步骤包括：

对收集到人像照片进行预处理，构建训练数据集；其中，所述对收集到人像照片进行预处理，构建训练数据集，包括：

对所述人像照片进行数据标注，标签为构图好与构图差；

对于每一标签为构图好的人像照片I_src，生成该人像照片I_src的外扩修复图像I_inpaint，并将所述人像照片I_src作为修复图像I_inpaint的最佳裁剪标签，以构造伪最佳裁剪数据集D_crop-p；

将公开的裁剪数据集中图像的最佳裁剪或是分数最高的裁剪作为最佳裁剪标签，以构造真实最佳裁剪数据集D_crop-r；

合并所述伪最佳裁剪数据集D_crop-p与真实最佳裁剪数据集D_crop-r，得到最佳裁剪数据集D_crop；其中，所述最佳裁剪数据集D_crop中每一图像I_b的最佳裁剪标签为为图像I_b的最佳裁剪图像中一角l的坐标值，w_b为该最佳裁剪图像的宽，h_b为该最佳裁剪图像的高；

随机选取多个图像扰动类别Perturb＝(p₁，p₂，p₃)及扰动幅度D＝(d₁，d₂，d₃)，以对每一所述图像I_b的最佳裁剪图像进行图像联合扰动，得到扰动后的子图像I_k；其中，p_i代表垂直扰动、水平扰动、缩放扰动，d_i为对应的扰动幅度值；

将数据(I_b，I_k，Y_k，D_k)作为所述训练数据集中的训练数据；其中，Y_k为构图变换信息标签，D_k为图像变换幅度；

使用所述训练数据集，训练一深度卷积神经网络，得到人像构图指引模型；其中，所述深度卷积神经网络包括：语义特征提取网络和预测构图变换类别的分类网络分支、预测构图变换幅度的回归网络分支，所述预测构图变换类别的分类网络分支包括：垂直变换分类网络分支、水平变换分类网络分支和缩放变换分类网络分支；

将摄像的预览图输入所述人像构图指引模型，得到引导信息；其中，所述引导信息包括所述预览图需要变换的操作类型和变换幅度值，所述操作类型包括：上或下、左或右、和缩小或放大；

基于引导信息，变换所述预览图的构图。

2.如权利要求1所述的方法，其特征在于，所述生成该人像照片的外扩修复图像I_inpaint，包括：

1)生成一空白图像，其中所述空白图像的尺寸大小为该人像照片的α倍，α＞1；

2)将该人像照片填充至一空白图像的中心，周围的空白填充为0像素，以生成该人像照片的掩码图；

3)使用图像修复算法，对所述掩码图进行四周内容修复，得到该人像照片的伪最佳裁剪图像I_inpaint。

3.如权利要求1所述的方法，其特征在于，所述语义特征提取网络包括：一轻量级神经网络MobileNetV2、一金字塔空间池化层和两层全连接层。

4.如权利要求1所述的方法，其特征在于，所述训练一深度卷积神经网络时的损失函数其中L_sj为分类网络分支的损失函数，j∈{1，2，3}且代表垂直变换分类网络、水平变换分类网络或缩放变换分类网络，L₄为回归网络分支的损失函数。

5.如权利要求4所述的方法，其特征在于，分类网络分支的损失函数N代表所述训练数据集中的样本数量，C代表构图变换类别的数量，Y(i)代表第i个样本所属类别，l^i，Y(i)为神经网络对第i个样本在Y(i)类的全连接层输出。