[发明专利]一种基于对抗域适应的图像智能裁剪方法及系统

权利要求书

1.一种基于对抗域适应的图像智能裁剪方法，其特征在于，包括以下步骤：

将目标应用场景下待裁剪的目标域图像输入至训练后的特征提取器，获取全局特征；

按照预设的裁剪方式，对所述全局特征进行重采样，获取的区域特征输入至训练完毕的美学分类器中进行美学评分，筛选出裁剪结果；

其中，特征提取器的训练过程为：将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器，且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本全局特征的能力；且根据美学损失调节自身参数，学习美学分析能力；美学分类器的训练过程是根据美学损失调节自身参数；

目标域样本为目标应用场景下任一无标签图像，源域样本为另一场景下有裁剪子图和美学标签的图像；域适应损失为基于样本的域标签与域判别结果获取；域判别结果为全局特征输入域判别器获取；美学损失为结合美学分数和美学标签计算获取。

2.根据权利要求1所述的图像智能裁剪方法，其特征在于，训练特征提取器和美学分类器的方法，包括以下步骤：

将目标域样本和源域样本输入至特征提取器提取全局特征；

将全局特征输入至域判别器，输出的域判别结果与样本的域标签相结合，计算域适应损失；且对全局特征进行重采样获取区域特征；其中，区域特征的通道维度与裁剪子图对应；

将区域特征传输至美学分类器获取美学分数后，结合美学标签，计算美学损失；

将适应损失函数反传至域判别器进行自身参数优化；

将基于目标域样本计算的适应损失梯度反转后传输至特征提取器，且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器，特征提取器学习对齐源域和目标域样本的全局特征的能力；

同时将美学损失反传至美学分类器和特征提取器进行自身参数优化。

3.根据权利要求1所述的图像智能裁剪方法，其特征在于，获取美学分数的方法为：

将区域特征传输至若干美学分类器，分别获取美学评分；

将美学评分的均值作为美学分数；

或将区域特征传输至单个美学分类器，获取美学分数。

4.根据权利要求1或2所述的图像智能裁剪方法，其特征在于，当美学分类器存在多个时，基于各个美学分类器获取的美学评分，计算各美学分类器间的一致性损失；

且基于各美学分类器的参数，获取各美学分类器间的权重损失；

利用一致性损失、权重损失和美学损失构建美学相关损失函数，反传至美学分类器和特征提取器进行自身参数优化。

5.根据权利要求1所述的图像智能裁剪方法，其特征在于，所述域适应损失为：

L_d＝-(y'log y+(1-y')log(1-y))

其中，y'为当前样本I对应的域标签，当当前样本I来自源域时，y'＝0；当当前样本I来自目标域时，y'＝1；y为域判别器的输出结果，经过softmax归一化后数值介于0～1之间。

6.根据权利要求4所述的图像智能裁剪方法，其特征在于，所述美学损失为：

其中，Sc为裁剪子图的美学标签序列；P代表归一化后的美学分数序列；i为裁剪方式编号；n为裁剪方式的总数；X_dis为美学评分和美学标签的误差；

所述美学分类器间的一致性损失为：

其中，美学分类器设置有两个，P₁，P₂为两个美学分类器预测的裁剪子图美学评分序列；

美学分类器间的权重损失为：

其中，美学分类器设置有两个，W₁与W₂为两个美学分类器的参数；m为美学分类器参数展开之后的长度，j为当前分类器参数位置。