[发明专利]兼容真实人脸和漫画人脸的跨域关键点检测方法

说明书

本发明公开了一种兼容真实人脸和漫画人脸的跨域关键点检测方法，通过建立人脸定性形状模型，并训练五官检测器、局部关键点检测器和整体关键点微调器后，使用五官检测器对人脸图像进行五官位置的初始检测得到候选五官框，然后使用QSM模型进行筛选以确定正确的五官框，然后使用局部关键点检测器分别对五官检测关键点，使用整体关键点微调器对关键点位置进行调整得到关键点。本发明的技术效果在于，本方法属于单源域领域泛化方法，仅需要真实人脸域作为源域，本方法相比于其他检测方法具有更强的泛化能力，能同时对真实人脸和漫画人脸进行关键点检测，对不同夸张风格的漫画人脸依然保证较强的鲁棒性。

技术领域

本发明涉及人脸识别领域，特别涉及一种兼容真实人脸和漫画人脸的跨域关键点检测方法。

背景技术

人脸关键点检测是很多人脸相关应用的关键一步，比如人脸表情识别，头部姿态估计等通常会依赖关键点位置提供的人脸形状信息。漫画是人像的一种艺术表达形式，通常人物的一些独特的特征会在漫画中被夸张以产生幽默或讽刺的效果，大部分漫画人脸的局部五官都具有较强的真实感，但其尺度、位置、宽高比等方面夸张多样。漫画人脸关键点检测在很多领域都有广泛的应用，如漫画检测和漫画编辑。

目前，人脸关键点检测方法大致分为三种，分别是基于ASM(Active Shape Model)和AAM(Active Appearnce Model)的传统方法；基于级联形状回归的方法，比如ERT(Ensemble of Regression Trees)方法；基于深度学习的方法，比如DAN(Deep AlignmentNetwork)、FAN(Face Alignment Network)等。若按照参数化与否来分，则分为参数化方法和非参数化方法，ASM、AAM和CLM(Constrained Local Models)属于参数化方法，而级联回归和深度学习方法属于非参数化方法。现在流行的方法是利用深层CNN来学习人脸特征和回归器，并逐步对估计的关键点进行修正，如ECT(Estimation-Correction-Tuning)方法；或者是发挥深层CNN模型端到端的优势，学习鲁棒的人脸关键点热图，或者是通过多任务学习的方式来提升特征检测的精度，如MTCNN(Multi-task Cascaded ConvolutionalNetworks)方法。虽然现有真实人脸关键点检测方法面对真实人脸可以有较高的检测精度，但他们无法适应漫画人脸域，因为这两个域的五官尺度、位置和宽高比之间的差异较大，同时漫画人脸在这些方面更为多样，所以现有真实人脸关键点检测方法无法有效地从真实人脸泛化到漫画人脸。

Yaniv等人研究不同域的人脸关键点检测任务，并提出了基于ECT的ECpTp+A方法的方法，该方法通过纹理增广和几何增广对真实人脸数据集进行数据增广，然后在增广后的数据集上使用ECT方法进行监督训练，其中纹理增广利用艺术画大型数据集WikiArt使用neural-style-transfer方法完成；几何增广分别对局部五官的位置、尺度和宽高比进行随机变换。因ECpTp+A方法使用了目标域的图像信息进行数据增广，而没有使用标注信息，故该方法属于人脸关键点检测任务上的无监督领域自适应方法。领域自适应方法能够提高模型在目标域的泛化能力，这些方法能够解决真实人脸域和漫画人脸域在形状、尺度和位置上的差异问题，但是他们面对风格不同的漫画需要重新自适应，无法有效地泛化到整个漫画人脸域；另外，领域自适应方法需要大量的目标域图像，在隐私、版权等条件下难以获得。

故在此背景下，研究一种兼容真实人脸和漫画人脸的跨域关键点检测方法，可以有效提升关键点检测模型在不同域的泛化能力。

发明内容

为了实现上述技术目的，本发明的技术方案是，

一种兼容真实人脸和漫画人脸的跨域关键点检测方法，包括以下步骤：

步骤A，建立人脸定性形状模型即QSM模型，并训练五官检测器、局部关键点检测器和整体关键点微调器；

步骤B，使用五官检测器对人脸图像进行五官位置的初始检测得到候选五官框，然后使用QSM模型进行筛选以确定正确的五官框；