[发明专利]基于深度多任务学习的图像美感和情感联合分类方法及系统

权利要求书

1.一种基于深度多任务学习的图像美感和情感联合分类方法，其特征在于，包括：

标注图像对应的美感类别和情感类别，形成训练数据集；

构造包含跨分支连接层和两个并行网络分支的深度卷积神经网络；

其中，两个网络分支分别负责对输入图像进行美感分类和情感分类；跨分支连接层用于连接两个网络分支中对应的卷积层组，以关联美感分类和情感分类这两个任务；深度卷积神经网络的输出代表输入图像属于各美感类别和各情感类别的概率；

利用训练数据集来训练深度卷积神经网络，直至预定义损失函数达到最小；

利用训练得到的深度卷积神经网络输出给定图像属于各美感类别和各情感类别的概率，选取美感类别和情感类别中概率最大的类别分别作为给定图像的预测美感类别和情感类别。

2.如权利要求1所述的基于深度多任务学习的图像美感和情感联合分类方法，其特征在于，在所述深度卷积神经网络中，两个网络分支中的卷积层组数量相同均为n；跨分支连接层的数量为n-1；第i个跨分支连接层将两个网络分支中第i个对应的卷积层组输出的图像特征图作为输入，并将这些输入的图像特征图沿着通道方向进行堆叠，将堆叠后的图像特征分别输入至两个网络分支中第i+1个对应的卷积层组；1≤i≤n-1；n为大于或等于2的正整数。

3.如权利要求2所述的基于深度多任务学习的图像美感和情感联合分类方法，其特征在于，每个卷积层组均包含一个最大池化层和至少两个连续的卷积层。

4.如权利要求1所述的基于深度多任务学习的图像美感和情感联合分类方法，其特征在于，利用训练数据集来训练深度卷积神经网络的过程，包括：

统一训练数据集的所有图像的大小尺寸；

初始化深度卷积神经网络各层的权重，预定义损失函数；

采用随机梯度下降算法对深度卷积神经网络进行训练，确定能使得损失函数最小的网络权重；且在每次训练迭代时，从图像的随机位置处裁剪出一块固定大小图像块，并以一定概率对图像块进行水平翻转。

5.一种基于深度多任务学习的图像美感和情感联合分类系统，其特征在于，包括：

训练数据集形成模块，其用于标注图像对应的美感类别和情感类别，形成训练数据集；

深度卷积神经网络构造模块，其用于构造包含跨分支连接层和两个并行网络分支的深度卷积神经网络；

其中，两个网络分支分别负责对输入图像进行美感分类和情感分类；跨分支连接层用于连接两个网络分支中对应的卷积层组，以关联美感分类和情感分类这两个任务；深度卷积神经网络的输出代表输入图像属于各美感类别和各情感类别的概率；

深度卷积神经网络训练模块，其用于利用训练数据集来训练深度卷积神经网络，直至预定义损失函数达到最小；

预测分类模块，其用于利用训练得到的深度卷积神经网络输出给定图像属于各美感类别和各情感类别的概率，选取美感类别和情感类别中概率最大的类别分别作为给定图像的预测美感类别和情感类别。

6.如权利要求5所述的基于深度多任务学习的图像美感和情感联合分类系统，其特征在于，在所述深度卷积神经网络中，两个网络分支中的卷积层组数量相同均为n；跨分支连接层的数量为n-1；第i个跨分支连接层将两个网络分支中第i个对应的卷积层组输出的图像特征图作为输入，并将这些输入的图像特征图沿着通道方向进行堆叠，将堆叠后的图像特征分别输入至两个网络分支中第i+1个对应的卷积层组；1≤i≤n-1；n为大于或等于2的正整数。

7.如权利要求6所述的基于深度多任务学习的图像美感和情感联合分类系统，其特征在于，每个卷积层组均包含一个最大池化层和至少两个连续的卷积层。