[发明专利]一种基于美术图像标签的检索推送方法及其用途

权利要求书

1.一种基于美术图像标签的检索推送方法，其特征在于：包括以下步骤：

S1、构建标签模型数据库

利用不同科目、各个类别的训练样本，进行不同标签内容的训练，并按照知识点标签对数据库内的训练样本进行分类和归类，获得标签模型数据库；

S2、检索推送

检索：将美术作品图像样本上传至训练完毕的标签模型数据库，而后提取美术作品图像样本的知识点标签，再检索与之相关联的美术作品，而后根据提取的美术作品图像样本的知识点标签，分别对美术作品图像样本进行判定；

推送：根据用户上传的美术作品图像样本和检索图像的标签数据推送相关联的美术作品；

S3、实时更新

标签模型数据库实时记录输入的美术作品图像样本的知识点标签，并根据多次上传的美术作品图像样本进行共性标签和模型构建，后续加大此类内容的推送，且推送的内容根据用户实时上传的美术作品图像样本实时更新，在此过程中若使用者后续更改上传其他类与原先图像科目无关的新图像，则将进行基于该科目图像的新模型构建；

S4、生成用户画像

当用户使用一段时间后，对用户上传的美术作品图像样本、检索图像的标签数据进行综合分析，生成用户画像。

2.根据权利要求1所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S1中具体包括以下步骤：

首先，通过收集一定量的美术作品图像，并且对于美术作品图像的知识点标签进行标注，构成训练数据集，再通过自监督的方式进行训练，得到有学习能力的图像标注系统；

同时考虑到图像数量极大，无法对于大量图像进行人力标注，因此需要再通过半监督学习的方式，对数据库中不断输入的未标注的美术作品图像与已标注的图像一起训练，半监督学习通过不断对于输入的无标注美术作品图像进行预测并标注，形成伪标签，并入训练数据集，继续进行学习，以增强本系统的鲁棒性，新的训练数据库为：

D＝{(x₁,y₁),...,(x_l,y_l),x_l+1,...,x_m}

其中有l个样本是有标注的，还有m-l个样本是无标注的。

3.根据权利要求1所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的知识点标签包括直观知识和间接知识；

所述直观知识包括经美术作品图像样本直接读取的科目信息知识、物品信息知识、主色调知识、色彩冷暖关系知识、黑白灰关系知识、空间知识、技法知识、刻画程度知识、物动态知识、人物特征知识、五官比例知识、人物特征知识、形体块面知识、结构透视知识、色阶关系知识、画纸磨损情况；

所述间接知识包括用文本知识和视频知识。

4.根据权利要求3所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的物品信息知识提取具体包括以下步骤：首先训练卷积神经网络，然后输入美术作品图像样本，利用深度可分离卷积神经网络对美术作品图像内容进行识别，并将不同形态的物品进行提取，而后利用SoftMax分类器对美术作品图像上的物品贴上标签，再利用多头注意力机制对该美术作品图像样本中涉及物品赋予学科属性标签；

当美术作品图像样本为素描静物时，包括以下步骤：

首先需要对于输入的训练样本进行素描静物的目标检测，通过素描图像的静物检测及标签数据对于yolov5网络模型进行训练，然后在yolov5网络的Neck网络通过PANET结构进行掩模预测，再利用GOU_Loss作为素描静物检测的目标函数进行优化，得到最优的yolov5素描图像的静物检测模型，最后通过非极大值抑制处理，输出预测静物类别以及静物预测区域信息，并按照静物区域坐标进行裁剪并输出，训练完成后，对于输入的样本通过加载上述最优的yolov5素描图像的静物检测模型参数进行预测，得到预测静物类别，并按照静物区域坐标裁剪输入素描图像，输出样本素描图像中的各静物图像以及学科属性标签；

其中，GIOU_Loss的目标函数如下：

式中，A、B为预测的两个IOU框的面积，C代表包围A、B的最小面积。