[发明专利]基于深浅特征融合的人脸图像处理方法

说明书

本发明实施例公开一种基于深浅特征融合的人脸图像处理方法，能够在有限数据集上提高的泛化能力。该方法包括：对面部表情图像数据集采用数据增强方法进行扩充，同时提取所述面部表情图像数据集中每幅图像的SIFT特征；使用词袋模型Bow表示的SIFT特征作为提取的浅层特征，将对应图像获得的深浅特征串联为一个特征向量，并利用SVM分类器进行训练。

技术领域

本发明涉及图像识别领域，尤其涉及一种基于深浅特征融合的人脸图像处理方法。

背景技术

人们对表情识别的研究可以追溯到20世纪70年代，早期的研究主要集中在心理学和生物学方面。

传统的基于分类的人脸表情识别流程包括人脸检测、特征提取及模式分类几个步骤，人脸检测模块对人脸进行检测和定位；表情特提取模块从人脸子图像中提取能够表征表情的描述信息；模式分类模块依据分类识别标准，分析上一模块的输出，把表情分类到相应的类别。其中表情特征提取是表情识别系统中最重要的部分，识别效果的好坏主要依赖特征的好坏。

研究者们一般会把大量的时间和精力花在如何提取和使用更加好的特征上，这些手工设计的特征不仅会话费研究者大量的时间，同时对于训练数据具有比较强的依赖性，往往不够可靠而且稳定性差、易受干扰，在表情识别领域有的泛化性有待提高。

发明内容

本发明实施例提供一种基于深浅特征融合的人脸图像处理方法，能够在有限数据集上提高的泛化能力。

本发明实施例采用如下技术方案：

一种基于深浅特征融合的人脸图像处理方法，包括：

对面部表情图像数据集采用数据增强方法进行扩充，同时提取所述面部表情图像数据集中每幅图像的SIFT特征；

使用词袋模型Bow表示的SIFT特征作为提取的浅层特征，将对应图像获得的深浅特征串联为一个特征向量，并利用SVM分类器进行训练。

可选的，所述面部表情图像数据集为CK+数据集，所述对面部表情图像数据集采用数据增强方法进行扩充包括：

获取包含多张人脸图像的CK+数据集，将数据集按照8:1:1的比例划分训练集、验证集、测试集，并保证每个集合中人物身份不重叠；

对数据集中的所有图像进行预处理，通过基于Haar特征的Adaboost人脸检测方法对每张人脸图片进行人脸检测，裁剪人脸区域，去除背景影响；

使用opencv视觉库对图像进行空间归一化，调整人脸两眼之间的连线使之保持水平，将人脸对齐到同一位置；

对所有图像进行直方图均衡化，增强图像的对比度，减弱光照造成的图像亮度差的影响；最后将所有图像归一化到70*70像素；

采用对原始图像数据进行几何变换的方法扩充数据集，对于每张70*70的训练图像，裁剪其左上、右上、左下、右下、中间64*64大小的区域，并对裁剪后的图像进行水平镜像，将训练集扩充10倍。

可选的，所述提取所述面部表情图像数据集中每幅图像的SIFT特征包括：

对所有扩充后的训练集图像提取SIFT特征，每一个SIFT关键点描述子是一个4*4*8＝128维的向量；

提取特征之后，每个样本转换为一个n*128维的特征矩阵，其中n为提取到的特征点的数，规定为每幅图像提取20个SIFT特征描述子，每个训练样本的浅层特征用20*128维的向量表示；

使用提取的训练集的所有的特征点构建词典，用k-means聚类算法对所有的SIFT特征进行聚类，得到K个聚类中心，这些聚类中心就是构造的词典，规定K＝500，即500个视觉词。

可选的，所述使用词袋模型Bow表示的SIFT特征作为提取的浅层特征包括：