[发明专利]基于深度层级特征融合的中国传统视觉文化符号识别方法

说明书

基于深度层级特征融合的中国传统视觉文化符号识别方法，属于图像处理与计算机视觉技术领域。首先利用深度学习中卷积神经网络来训练分类模型；其次在训练好的模型中提取各层的视觉文化符号特征，并利用Softmax回归来计算每一层的权重，将每一层的特征合并成一个长向量，作为每一类图像的图像特征表示；再将提取后的特征经过PCA降维并归一化后送入到浅层学习SVM中进行分类；最后再利用集成学习的思想，将深度学习的识别结果和深浅结合的识别结果利用回归树结合，得到最终的分类结果。

技术领域

本发明涉及基于深度层级特征融合的中国传统视觉文化符号识别方法，属于图像处理与计算机视觉技术领域。

背景技术

中国传统视觉文化符号是中华民族千百年来的历史和文化遗产，也是中华传统文化的一种标志。它凝结着中国人的智慧和力量，成为世界能够解读中国的一种方式，它能代表中国、影响世界。对中国传统文化符号的研究有着深远的意义，目前，全球化的必然趋势，使得传统文化面临着重大冲击，所以对中国传统文化的重新审视和继承是客观必然的，而传统文化符号作为传统文化的一种符号、标志，有着更深远的作用。

而目前文化符号主要以图像的形式呈现给公众，其中图像是视觉信息的最基本表现形式，具有内容丰富、反映直观等特点而广泛存在于各行各业的应用之中。且随着数字设备的应用以及互联网技术的发展，视觉图像数据正以惊人的速度增长，其内容和形式呈现出多样化，因此如何利用计算机对这些大量的数据进行智能化处理成为一个迫切需要研究的问题。

现有技术一的技术方案：根据不同视觉文化符号的特点，提取有利于分类的底层特征。如根据不同文化符号的轮廓，提取了轮廓特征，采用的算法是HOG，轮廓特征可以有效地提取图像中感兴趣目标的边缘信息。根据各种文化符号的表面的本质属性，提取纹理特征，采用的算法是LBP。根据不同文化符号之间颜色的巨大区别性，提取颜色特征。文中是在RGB空间提取的颜色特征。将提取的轮廓特征(HOG)、纹理特征(LBP)和颜色特征(RGB)结合，将总体特征送入支持向量机(SVM)中训练模型，并进行分类。但是底层特征对于图像的噪声，模糊图像，角度以及其他的客观因素不具有很好的鲁棒性。所以还可以提取HOG轮廓特征和RGB空间的颜色特征以及SIFT等底层特征，并将这些底层特征转化为具有语义信息的中层特征。文中将提取到的底层特征通过K-means算法聚类，并利用词包模型(Bag-of-Words)的思想以及空间金字塔匹配原理(SPM)，构造具有空间位置信息的视觉文化符号特征的词袋模型。统计金字塔每一层次每一区域的词频，形成统计直方图作为该区域的特征，并利用最大池化的方法(Max-pooling)将每一层每一区域中的特征提取最大值，最后合并成一个能够作为每一类文化符号的特征表达的大向量，最后将向量送入SVM中进行训练和测试，完成文化符号的分类。

现有技术一的缺点：

在这种模式下，特征提取主要是人工提取特征。人工提取特征是一件非常费力、启发式(需要先验知识)的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。且这种浅层模型提取出来的浅层特征对复杂问题分类的效率不高，需要选择SVM等具有优越性能的分类器，因为SVM可以将低维空间转化为高维空间来解决一些复杂的分类问题。除此之外，也可以利用深度学习卷积神经网络来处理模式识别的问题。

现有技术二(基于深度学习)的技术方案：

基于浅层学习中手工提取特征的缺点，目前有利用深度学习中卷积神经网络来处理视觉文化符号的分类问题。主要是利用Caffe框架，对已经在大量数据上训练好的成熟模型(如Caffenet,Alexnet)进行fine-tuning，并且详细介绍了网络中各种参数的调整策略。

卷积神经网络(Convolutional Neural Networks,CNN)是一种受视觉神经机制的启发而设计的多层感知器，每层由多个二维平面组成，而每个平面由多个独立神经元组成。这种网络结构对图像各种变化有着很强的适应性，如比例缩放、平移、倾斜或者其他形式的变形等。