[发明专利]一种私人相册的人脸搜索方法

说明书

本发明公开了一种私人相册的人脸搜索方法。本发明通过迁移学习训练Pose‑Facenet，对训练数据中人脸标签根据人脸姿态进行再划分，结合改进的DREAM++姿态生成模块，只需要校正到相同的姿态区间进行人脸比对即可，无需跨越大姿态角变化将非正脸姿态人脸校正为正脸再进行比对，降低姿态调整带来的信息丢失负面影响。利用私人相册中相邻拍摄时间相片通常存在易于辨识的相同人体的特点，在搜索出相册中容易比对成功的正脸人脸后，采用行人重识别技术对相邻拍摄时间的相片搜索出与其所属人体为同一人体的人体图像，从而获得该人体中的搜索目标的新姿态人脸，丰富搜索目标各姿态的人脸信息，降低需要进行大角度姿态校正的概率，从而达到更好的人脸搜索效果。

技术领域

本发明涉及图像识别技术领域，具体涉及一种私人相册的人脸搜索方法。

背景技术

随着智能手机的普及和存储设备的廉价化，越来越多的用户选择利用手机来拍摄照片，并将拍摄到的照片不做整理地直接存储在手机私人相册中，导致私人相册变得日益庞大而难以管理。通过人脸搜索技术，在庞大的私人相册中搜索包含指定人脸的相片，对于相册的管理具有很大实用意义。

现阶段的人脸识别技术中，人脸搜索的基本原理是通过神经网络将人脸检测得到的人脸图像抽象成一个高维向量，通过比对向量间的距离来判断人脸的相似性，从而将相似性高的图像作为搜索结果输出。深度学习系统很大程度上依靠数据驱动。一般而言，模型的泛化能力和数据量成正比。由于人脸识别模型训练中使用的数据集正脸和侧脸数据量不均衡，因此训练出的模型人脸识别的焦点倾向于以正脸附近为中心，更擅长分辨正面。而在不受限的环境中进行人脸识别，并不能保证其结果，实际实验中，从正面识别侧面的准确率与从正面识别正面的准确率相比会下降10％以上。由于目前还没有涵盖人脸所有姿态且分布均匀的数据集，因此姿势的变化仍旧是人脸识别应用在现实世界的重大挑战，研究人员要用其他方法解决侧脸识别问题。

在私人相册的人脸搜索问题上，由于私人相册拍摄角度不受约束，人脸姿态非常丰富，尤其存在大量侧脸相片。要想在私人相册中对不同姿态的人脸进行精确搜索，解决姿态变化带来的人脸比对困难是首要问题。

行人重识别技术旨在判断摄像头在不同时刻拍摄的行人目标是否为同一行人。私人相册中相邻拍摄时间相片有通常存在易于辨识的相同人体的特点，对行人重识别的使用场景非常适合，这为人脸搜索提供了新的思路。通过行人重识别技术，比对出相同人体，从而将相同人体中不同姿态的人脸关联起来，可以降低人脸比对在姿态变化较大时的判断难度。

现有的技术有深度残差等边映射(DREAM)模块方案，该方案可以在高层深度特征空间中将任意姿态的侧脸特征转换为正脸特征。该方案假设在深度特征空间中，侧脸区域与正脸区域存在转换关联，这种转换可以通过基于数据的映射函数学习到。对于任意姿态的人脸输入x，根据其姿态角yaw作为系数软门y(x)，控制残差映射函数的添入量将原本人脸特征φ(x)映射到正脸的特征空间上，映射表达为从而将不同姿态人脸特征的比对问题都转到相对容易的正脸人脸特征之间的比对问题。

此方案的缺点在于：

该方案只利用了yaw一种姿态角来控制残差映射函数的添入量，也就是只考虑人脸的左右偏转情况。当左右与上下同时发生大角度偏转情况时，该模块便不能取得满意的姿态校正效果。

此外，由于该方案过于强调将任意姿态区域校正成正脸区域，在匹对姿态相似的非正脸姿态区域的人脸时，依然会将两者同时校正到正脸区域，校正过程中丢失的信息反而可能导致原本容易比对的人脸变得难以比对。

发明内容

本发明的目的是克服现有方法的不足，提出了一种私人相册的人脸搜索方法。本发明解决的问题主要有两个：一是通过行人重识别与人脸识别结合的策略识别同一人体不同姿态下的人脸，从而降低需要进行大角度姿态校正的概率的问题；二是只需转换到同一的姿态区间进行人脸比对而无需均校正到正脸区域再进行人脸比对的问题。

为了解决上述问题，本发明提出了一种私人相册的人脸搜索方法，所述方法包括：