[发明专利]基于深度多任务学习的图像美感和情感联合分类方法及系统

说明书

本公开提供了一种基于深度多任务学习的图像美感和情感联合分类方法及系统。其中，该联合分类方法包括：标注图像对应的美感类别和情感类别，形成训练数据集；构造包含跨分支连接层和两个并行网络分支的深度卷积神经网络；利用训练数据集来训练深度卷积神经网络，直至预定义损失函数达到最小；利用训练得到的深度卷积神经网络输出给定图像属于各美感类别和各情感类别的概率，选取美感类别和情感类别中概率最大的类别分别作为给定图像的预测美感类别和情感类别。

技术领域

本公开属于计算机视觉技术领域，尤其涉及一种基于深度多任务学习的图像美感和情感联合分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

伴随计算机视觉技术的快速发展，人们不仅希望计算机能够在语义层面对图像的内容进行分析，更期望计算机能够模拟人类视觉及思维系统，产生更高层次的感知能力。作为感知理解研究中的两项代表性任务，图像的美感分类和情感分类分别旨在使计算机可以辨认人类由受到图像视觉刺激而产生的审美和情感反应。目前，图像的美感分类和情感分类技术已经被应用在图像的存储、编辑、检索等方面。例如，针对用户拍摄的关于同一物体或场景的多张候选照片，筛选最具美感的作品保存和展示，合理地降低数据的存储开销；在图像作品的创作和编辑中，分析对比候选方案的美学质量，提升作品的视觉美感；在图像检索系统中，考虑返回图像的情感倾向，为用户提供语义准确且更有感染力的检索结果。

由于图像内容的多样性和人类感知的复杂性，自动实现对图像的美感分类和情感分类是非常具有挑战性的任务。近年来，得益于带有美感标记和情感标记的大规模图像数据集的出现，基于机器学习的方法被广泛采用。方法的核心步骤是提取在分类任务上具有良好区分能力的图像视觉特征。早期的方法主要依赖人工设计的特征，需要研究者对问题本身有深入的了解。随着深度学习在计算机视觉领域的兴起，近期的方法主要利用卷积神经网络自动地抽取特征用于图像美感和情感分类，并获得了较好的效果。

发明人发现，现有技术通常将图像的美感分类和情感分类当作两个相互独立的任务。但直觉上，人类的美感感受和情感感受并不是孤立出现的；相反，在心理认知层面上，它们应是相互关联和相互影响的。例如，如果一幅图像能够使人们获得审美上的愉悦，那它也很有可能会唤起观察者的积极情感。神经科学领域的研究也证明，人类的审美体验是一种伴随着情感状态不断升级的认知过程，反之亦然。

发明内容

为了解决上述问题，本公开的第一个方面提供一种基于深度多任务学习的图像美感和情感联合分类方法，其通过统一的深度卷积神经网络框架，使两个任务之间可以有效地共享信息，实现对图像的美感类别和情感类别联合识别以及识别准确性和效率。

为了实现上述目的，本公开采用如下技术方案：

一种基于深度多任务学习的图像美感和情感联合分类方法，包括：

标注图像对应的美感类别和情感类别，形成训练数据集；

构造包含跨分支连接层和两个并行网络分支的深度卷积神经网络；

其中，两个网络分支分别负责对输入图像进行美感分类和情感分类；跨分支连接层用于连接两个网络分支中对应的卷积层组，以关联美感分类和情感分类这两个任务；深度卷积神经网络的输出代表输入图像属于各美感类别和各情感类别的概率；

利用训练数据集来训练深度卷积神经网络，直至预定义损失函数达到最小；

利用训练得到的深度卷积神经网络输出给定图像属于各美感类别和各情感类别的概率，选取美感类别和情感类别中概率最大的类别分别作为给定图像的预测美感类别和情感类别。