[发明专利]基于深浅特征融合的人脸图像处理方法

权利要求书

1.一种基于深浅特征融合的人脸图像处理方法，其特征在于，包括：

对面部表情图像数据集采用数据增强方法进行扩充，同时提取所述面部表情图像数据集中每幅图像的尺度不变特征变换SIFT特征；

使用词袋模型词袋模型Bow表示的SIFT特征作为提取的浅层特征，将对应图像获得的深浅特征串联为一个特征向量，并利用支持向量机SVM分类器进行训练。

2.根据权利要求1所述的方法，其特征在于，所述面部表情图像数据集为CK+数据集，所述对面部表情图像数据集采用数据增强方法进行扩充包括：

获取包含多张人脸图像的CK+数据集，将数据集按照8:1:1的比例划分训练集、验证集、测试集，并保证每个集合中人物身份不重叠；

对数据集中的所有图像进行预处理，通过基于Haar特征的Adaboost人脸检测方法对每张人脸图片进行人脸检测，裁剪人脸区域，去除背景影响；

使用开源计算机视觉库opencv视觉库对图像进行空间归一化，调整人脸两眼之间的连线使之保持水平，将人脸对齐到同一位置；

对所有图像进行直方图均衡化，增强图像的对比度，减弱光照造成的图像亮度差的影响；最后将所有图像归一化到70*70像素；

采用对原始图像数据进行几何变换的方法扩充数据集，对于每张70*70的训练图像，裁剪其左上、右上、左下、右下、中间64*64大小的区域，并对裁剪后的图像进行水平镜像，将训练集扩充10倍。

3.根据权利要求1所述的方法，其特征在于，所述提取所述面部表情图像数据集中每幅图像的SIFT特征包括：

对所有扩充后的训练集图像提取SIFT特征，每一个SIFT关键点描述子是一个4*4*8＝128维的向量；

提取特征之后，每个样本转换为一个n*128维的特征矩阵，其中n为提取到的特征点的数，规定为每幅图像提取20个SIFT特征描述子，每个训练样本的浅层特征用20*128维的向量表示；

使用提取的训练集的所有的特征点构建词典，用k-means聚类算法对所有的SIFT特征进行聚类，得到K个聚类中心，这些聚类中心就是构造的词典，规定K＝500，即500个视觉词。

4.根据权利要求1所述的方法，其特征在于，所述使用词袋模型Bow表示的SIFT特征作为提取的浅层特征包括：

把每幅图像的SIFT特征用Bow词袋模型表示为一个特征向量，通过最近距离法计算每个SIFT特征应该属于词典中的哪个视觉词汇，统计落入每个词典中特征点的个数，得到每幅图像的统计直方图，统计直方图可以用一个500维的特征向量表示，即得到该图片对应于词典的Bow表示。

5.根据权利要求1所述的方法，其特征在于，还包括：

使用预训练的AlexNet模型在CK+训练集上进行微调，提取模型全连接层的特征作为学习到的深层特征。

6.根据权利要求5所述的方法，其特征在于，所述使用预训练的AlexNet模型在CK+训练集上进行微调，提取模型全连接层的特征作为学习到的深层特征包括：

使用在ImageNet上预训练的AlexNet卷积神经网络模型(AlexNet-CNN)，在训练集上对参数进行微调，将AlexNet倒数第一层全连接层的节点数修改为500，初始学习速率为0.001，当验证集识别率不再提升时，停止迭代，得到用于提取深层特征的CNN模型。

7.根据权利要求6所述的方法，其特征在于，还包括：

使用得到的CNN模型提取训练集图像的倒数第一层全连接层的特征作为深层特征，每个单张图像得到一个500维的特征向量。

8.根据权利要求4所述的方法，其特征在于，还包括：

将步提取的500维的浅层特征串联在步骤8提取的500维深层特征后，得到一个融合特征，并将所有特征向量归一化到[-1,1]范围内。