[发明专利]一种基于可跳层双支神经网络的图像粗细粒度分类方法

摘要

本发明属于计算机图像处理技术领域，具体为基于可跳层双支神经网络的图像粗细粒度分类方法。本发明方法包括：收集数据集，包括图像数据和对应的粗类别和细类别标签；构造可跳层双支神经网络，在密集连接的卷积神经网络中加入层级门控模块；对训练样本进行数据增强，训练可跳层双支神经网络；训练一端到端的神经网络，输出分类结果。本发明构建的可跳层双支神经网络可同时解决图像粗粒度和细粒度分类任务。该模型在密集连接的卷积层中加入门控模块，可根据输入动态地选择卷积层的执行；根据样本的难易程度和分类任务的粒度，网络的推断深度是可变的。此种灵活的卷积神经网络有利于提升模型容量和计算效率。

主权项

1.一种基于可跳层双支神经网络的图像粗细粒度分类方法，其特征在于，具体的步骤如下：（1）收集数据集，包括图像数据和对应的粗类别和细类别标签，将数据集切分为训练数据集和测试数据集；并利用语义层级结构定好样本的粗标签和细标签类别；（2）构造可跳层双支神经网络；在密集连接的卷积神经网络中加入层级门控模块，得到可跳层双支神经网络模型，具体包括：初级共享卷积层、左右子分支、层级门控模块、全局平均池化和线性分类器；其中：初级共享卷积层由一个卷积层构成，将输入图像进行初步处理得到低维特征，送入到子左、右分支；左分支、右分支均由密集卷积模块和过渡层交替堆叠构成，其中密集卷积块中的密集连接的卷积层之间融合通过信道拼接或元素对应相加实现，密集卷积层由一到两组批归一化、线性整流函数和卷积操作连接而成；其中每个密集卷积层对应的门控模块由一个平均池化层和全连接层构成，对输入特征做二元线性分类，来判断是否执行该卷积层操作，其中所采用的阈值函数是hard sigmoid函数，即max(0,min(kx+1/2,1))，通过直通式估计器使得该函数在反向传播时处处可微；过渡层由1x1的卷积层和降采样池化层构成，用于调整特征的维度；全局平均池化将得到的粗/细粒度特征每一信道上的空间信息平均池化为单一数值，从而得到一个一维向量；左分支最终的分类任务是细/局部细节分类，右分支最终的分类任务是粗/全局分类，对应的线性分类器即为一个输出为对应类别数的全连接层；同时，右分支会给左分支一个由高到低的反馈：将右分支最后一个密集卷积模块的输出双线性上采样后和左分支最后一个过渡层的输入特征相融合，以帮助左分支做细分类任务；（3）对训练样本进行数据增强，训练可跳层双支神经网络，对左右两分支的分类器输出分别用细类别标签和粗类别标签监督；（4）训练一端到端的神经网络输出分类结果：包括在深度神经网络模型训练完成以后，对于给定的一张图片，门控模块根据输入选择密集卷积层去执行，得到最终的粗类别和细类别分类结果。