[发明专利]基于美学属性检索的图片美学描述建模、描述方法及系统

权利要求书

1.一种基于美学属性检索的图片美学描述建模方法，其特征在于，包括如下步骤：

步骤1：获取图片数据集，对图片数据集进行数据清洗和预处理，获得每张图片的图片ID、图片美学属性和图片评论信息；

步骤2：建立检索网络，所述检索网络包括特征提取单元、美学评论池、特征融合单元、相似度评分单元和美学评分单元；

所述的特征提取单元用于分别对图片数据集中所有图片的图片ID、所有图片的图片美学属性和所有图片的图片评论信息进行特征提取，获得每张图片的图片特征、美学属性特征和文本特征；

所述的美学评论池用于存储所有图片的文本特征；

所述的特征融合单元用于将图片特征、美学属性特征和文本特征分别转化为图片特征向量、美学属性特征向量和文本特征向量，并将图片特征向量和美学属性特征向量相加，获得上下文特征向量；

所述的相似度评分单元用于将上下文特征向量与文本特征向量进行点乘，获得相似性得分矩阵；

所述的美学评分单元用于通过上下文特征向量计算美学预测概率分布；

步骤3：将图片数据集中每张图片的图片ID、图片美学属性和图片评论信息作为训练集，对检索网络进行训练，其中，对相似度评分单元采用NLL Loss损失函数进行训练，对美学评分单元采用EMD Loss损失函数进行训练，将训练好的检索网络作为美学描述模型。

2.如权利要求1所述的基于美学属性检索的图片美学描述建模方法，其特征在于，所述特征提取单元包括图片特征提取子单元、美学属性特征提取子单元和文本特征提取子单元，所述的图片特征提取子单元为ResNet模型，所述的美学属性特征提取子单元为线性层，所述的文本特征提取子单元为BERT模型。

3.如权利要求1所述的基于美学属性检索的图片美学描述建模方法，其特征在于，所述的特征融合单元的处理如下子步骤：

步骤d1：将图片特征F_I通过两层全连接层转化为向量I：I＝W_I⊙F_I+b_I，W_I为F_I的权重矩阵，b_I为F_I的偏置矩阵；

步骤d2：将图片美学属性特征F_A通过线性层转化为向量A：A＝W_A⊙F_A+b_A，W_A为F_A的权重矩阵，b_A为F_A的偏置矩阵；

步骤d3：将文本特征F_T通过两层全连接层，转化为向量T：T＝W_T⊙F_T+b_T，W_T为F_T的权重矩阵，b_T为F_T的偏置矩阵；

步骤d4：将向量A和向量I相加，获得上下文特征向量C。

4.如权利要求1所述的基于美学属性检索的图片美学描述建模方法，其特征在于，所述的损失函数NLL Loss的表达式如式(1)所示：

其中，N为批处理batch大小；

所述的损失函数EMD Loss的表达式如式(2)所示：

其中，p为预测分布，q为真实分布，CDF为累积概率分布函数。

5.一种图片美学描述方法，其特征在于，包括如下步骤：

步骤一：获取待描述图片，根据待描述图片获得图片ID并选择待描述图片的图片美学属性；

步骤二：将待描述图片的图片ID和图片美学属性输入如权利要求1至4中任一种图片美学描述模型建立方法得到的美学描述模型，获得待描述图片的相似性评分和美学评分；

步骤三：在美学评论池中查询相似性评分最高的评论作为待描述图片的预测的美学评论。

6.一种图片美学描述系统，该系统包括处理器和用于存储能够在处理器上运行的多个功能模块的存储器，其特征在于，所述功能模块包括美学描述模型、输入单元、输出单元；

所述的美学描述模型通过如权利要求1至4中任一种图片美学描述模型建立方法得到，用于输入待描述图片的图片ID和图片美学属性，输出待描述图片的相似性评分和美学评分；

所述输入单元获取待描述图片，根据待描述图片获得图片ID并选择待描述图片的图片美学属性；

所述输出单元用于在美学评论池中查询相似性评分最高的评论作为待描述图片的预测的美学评论，并输出待描述图片的美学评分。