[发明专利]基于美学属性检索的图片美学描述建模、描述方法及系统

说明书

本发明属于图片美学质量评价技术领域，公开了一种基于美学属性检索的图片美学描述建模、描述方法及系统。本发明使用检索网络给出美学描述，并得到美学分数，这是检索网络首次应用于图像美学评价领域。利用迁移学习提取图像特征和文本特征，将它们映射到相同的特征空间，然后优化NLL Loss，使具有对应关系的图像和文本向量点积得到的分数最大化。实验结果表明，与生成模型相比，该网络生成的美学描述具有更好的多样性。

技术领域

本发明属于图片美学质量评价技术领域，具体涉及一种基于美学属性检索的图片美学描述建模、描述方法及系统。

背景技术

随着移动互联网、智能手机的快速普及，图像数据的爆炸式增长，人类已经完全置身于“读图时代”，面对海量的数据，单纯依靠人工来进行图像美学分析已经无法满足人们对于时效性的需求，设计算法进行自动美学评估变得越来越迫切。另一方面，图像美学质量评价有很广阔的应用场景，例如图像检索、相册管理、聊天机器人、社交媒体等等。

图像美学质量评价领域的主要工作集中于美感分类、美感评分和美感分布，美感分类是指给定一幅图像，输出“好”和“不好”或者美学质量“高”或“低”2个类别；美感评分是给出图像的美学质量评分，表现为一个连续数值；美感分布是给出图像的美学质量分数分布直方图。而美学描述则更注重图像美学质量评价的可解释性，它的任务是直接从图像中生成一段模仿人类主观感受的美学评论或描述，包括图片的构图、颜色，光照，甚至是焦距，景深等等。其中如何生成多样丰富的美学评论是图片美学评价的关键步骤，是当前研究的重点。现有的主要关于美学描述的工作如“Kuang-Yu Chang*,Kung-Hung Lu*,and Chu-Song Chen Institute of Information Science,Academia Sinica,Taipei,Taiwan.Aesthetic Critiques Generation for Photos.ICCV 2017.”和“Xin Jin,Le Wu,Geng Zhao,Shiming Ge*,Dongqing Zou,Bin Zhou,Xinghui Zhou.Aesthetic AttributesAssessment of Images.ACM MM 2019.”都是基于生成模型的美学评论，生成模型虽然在图像描述领域取得了很好的效果，但在图片美学评价数据集上却表现出了一些局限性：由于数据集中的美学评论信息过于主观，故纯生成模型很难学习到很精确的图文对应关系，从而导致生成的美学评论过于句式化，缺乏多样性(见图1)，像模板化生成的句子而不像人类主观表达出的语言。

发明内容

本发明的目的在于提供一种基于美学属性检索的图片美学描述建模、描述方法及系统，用以解决现有技术中的美学评论过于句式化，缺乏多样性的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于美学属性检索的图片美学描述建模方法，包括如下步骤：

步骤1：获取图片数据集，对图片数据集进行数据清洗和预处理，获得每张图片的图片ID、图片美学属性和图片评论信息；

步骤2：建立检索网络，所述检索网络包括特征提取单元、美学评论池、特征融合单元、相似度评分单元和美学评分单元；

所述的特征提取单元用于分别对图片数据集中所有图片的图片ID、所有图片的图片美学属性和所有图片的图片评论信息进行特征提取，获得每张图片的图片特征、美学属性特征和文本特征；

所述的美学评论池用于存储所有图片的文本特征；

所述的特征融合单元用于将图片特征、美学属性特征和文本特征分别转化为图片特征向量、美学属性特征向量和文本特征向量，并将图片特征向量和美学属性特征向量相加，获得上下文特征向量；

所述的相似度评分单元用于将上下文特征向量与文本特征向量进行点乘，获得相似性得分矩阵；