[发明专利]人脸关键点数据增强方法、装置、系统以及模型训练方法

说明书

本发明属于人脸识别技术领域，提供一种人脸关键点数据增强方法、装置、系统以及模型训练方法，通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强方法，以提高样本的数量和多样性，有利于提升关键点检测模型的训练效果。在已标注数据的基础上，采用局部仿射变换即可高效地生成人脸关键点数据，从而提升后续模型训练的准确率和泛化性。

本申请是申请人于2020年1月7日提交的申请号为202010014204.6、名称为人脸关键点数据增强方法、装置、系统以及模型训练方法的申请的分案申请。

技术领域

本发明涉及人脸识别技术领域，具体而言涉及一种基于局部仿射变换的人脸关键点数据增强方法、装置、系统以及训练人脸关键点检测模型的方法。

背景技术

训练人脸关键点检测模型，需要大规模的带标签人脸数据，获取到的人脸图像中往往自然表情居多，如张嘴、闭眼的图像相对较少，这种较为单一的数据会使得训练后的模型泛化能力较差。

此外，人脸关键点数据的标注耗时费力，标注员需要对每张人脸图像精细地标注几十甚至上百个关键点。这两个方面因素大大限制了高质量数据的获取，进而影响深度学习模型的性能。数据增强是快速提升数据量的高效方法，但现有的人脸关键点数据增强方法，例如平移、旋转、缩放等，无法对人脸轮廓及五官进行改变，如睁眼变为闭眼、胖脸形变为瘦脸形。因此即使数据量增加了，但数据的多样性并未提高。

发明内容

本发明目的在于提供一种基于局部仿射变换的人脸关键点数据增强方法与系统，通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强，有效地提高样本的数量和多样性，有利于提升关键点检测模型的训练效果。

为达成上述目的，本发明提出一种基于局部仿射变换的人脸关键点数据增强方法，包括：

步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；

步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；

步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；

步骤4、对64×64像素大小的图像修正104个关键点坐标；

步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；

步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；

步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；

步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；

步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。

根据本发明的公开，还提出一种基于局部仿射变换的人脸关键点数据增强装置，包括：

用于采集N张包含人脸的彩色图像的模块，N为正整数，且N≥100；

用于对每个彩色图像中的最大的人脸标注其104个关键点的模块，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；