[发明专利]多尺度卷积神经网络特征提取方法、系统、介质及应用

说明书

本发明属于图像处理、计算机视觉和机器学习技术领域，公开了一种多尺度卷积神经网络特征提取方法、系统、介质及应用，改变高斯平滑因子构建多层的高斯特征金字塔(每层特征从一组特征图中获取，其中，每组内的首层特征由卷积操作获得)，高斯特征金字塔的层组数对应设计的网络中的尺度个数；在高斯特征金字塔的基础上，将每组组内相邻两层的特征图相减，构建特征差分金字塔；通过特征差分金字塔，获取三组尺度的差分特征图，每组差分特征图可构建一个尺度特征图，可构建多尺度特征差分金字塔。与现有技术相比，本发明的方法受尺度不变特征方法启发，在特征差分金字塔上构建多尺度特征金字塔，提高卷积神经网络特征的鲁棒性和有效性。

技术领域

本发明属于图像处理、计算机视觉和机器学习技术领域，尤其涉及一种多尺度卷积神经网络特征提取方法、系统、介质及应用。

背景技术

目前：随着多媒体和网络技术的迅猛发展，海量的图像、视频等多媒体数据快速涌现。近年来，深度学习的兴起和发展为多媒体内容理解提供了新的方法和模型。其中，基于深度学习的卷积神经网络提取特征被广泛应用于图像细粒度分类与检索、视频分类与目标检测、跨媒体检索等多媒体内容理解的研究方向。现有的基于卷积神经网络提取的特征的加工方式主要包括三种：一是直接使用卷积后的特征图作为卷积神经网络特征；二是对卷积后的特征图进行拼接操作作为新的特征；三是对卷积后的特征图进行对应位置相加操作作为卷积神经网络新的特征。

在上述提到的分类或检索任务中，其最重要的判断依据就是提取到的图像特征，这是完成分类或检索等任务的基础。然而不同的提取特征的操作方式，不仅影响特征提取时的计算量，也影响所提取到的特征的质量，即我们常说的特征是否有效。针对传统的图像特征提取的三种加工方式，当输入图像的尺度发生改变时，影响提取有效的特征。与通过大量卷积操作构建的多尺度特征金字塔方法相比，本文提出的发明方法在不增加额外计算量的情况下，拟提出一种新型的多尺度卷积神经网络特征提取方法，本发明的方法受尺度不变特征方法的启发，在特征差分金字塔上构建多尺度特征金字塔，提高卷积神经网络特征的鲁棒性和有效性。

发明内容

针对现有技术存在的问题，本发明提供了一种多尺度卷积神经网络特征提取方法、系统、介质及应用。

本发明是这样实现的，一种多尺度卷积神经网络特征提取方法，所述多尺度卷积神经网络特征提取方法包括：

要构建的高斯特征金字塔层组数对应设计的网络中的尺度个数(这由具体的项目/任务而定，通常情况下为三个尺度，本发明专利以三个尺度为例)，多尺度的高斯金字塔(3层)每层是来源于一组特征图，通过改变高斯平滑因子构建组内多层的特征图。在这组特征图中，第一层的特征是通过对图像进行卷积操作获得的；

在高斯特征金字塔的基础上，将每组组内相邻两层的特征图相减，构建差分特征金字塔；

通过特征差分金字塔，获取三组尺度的差分特征图，每组差分特征图可构建一个尺度的特征图，构建多尺度特征差分金字塔。

进一步，所述高斯特征金字塔的构建包括：每个尺度下对应一组高斯模糊图像，通过对该尺度下的特征图进行一系列高斯平滑操作得到的；输入一张图片，对图像进行一次卷积操作，得到一张特征图conv1_1，对卷积后的特征图conv1_1进行一系列高斯平滑获得一组特征图，尺度下该组有五层特征图；

高斯平滑的公式如下：

其中，σ为平滑因子，由启发式算法取固定值为1.6，组内第二层特征图需要一个新的平滑因子，新平滑因子σ＝k*σ,其中k为比例系数；随着组内层数的增加，平滑因子依次变为σ，kσ，k²σ，k³σ，k⁴σ；第一层特征图conv1_1经过卷积和下采样操作获得第二张卷积特征图conv2_1，并将特征图conv2_1作为高斯特征金字塔第二个尺度下的第一层，构建第二组的高斯特征图，在构建第三组的高斯特征图，共构建三组尺度不同的高斯特征金字塔。