[发明专利]人脸关键点数据增强方法、装置、系统以及模型训练方法

权利要求书

1.一种基于局部仿射变换的人脸关键点数据增强方法，其特征在于，包括：

步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；

步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；

步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；

步骤4、对64×64像素大小的图像修正104个关键点坐标；

步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；

步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；

步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；

步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；

步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。

2.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤9中对随机增强处理包括：

1）-30°到30°的随机旋转；

2）边长10%的随机平移；

3）边长90%到120%的随机缩放；

4）50%概率的水平翻转；

5）对图像进行30%概率的高斯模糊和30%概率的颜色抖动。

3.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤2中，对104个关键点的标注，得到标注数据为：

其中，为第幅图像；为第幅图像的第个关键点坐标；

，。

4.根据权利要求3所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤3中，根据标注的关键点坐标的最高点、最低点、最左点、最右点确定人脸边界框，并向外扩展边长的20%，若此时边界框为矩形，则将矩形框的短边再次扩展至与长边相等，得到正方形边界框；

再将图像中边界框内的部分截取出来，并放缩至64×64像素大小的图像。

5.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，前述方法更加包括：

对每一个原始的彩色图像经过前述预处理得到的64×64像素大小的原始图像数据按照前述步骤2-9进行增强，重复9次，以将数据量扩充9倍；

再将原始图像数据与新的人脸图像数据进行合并，组成新的用于人脸关键点检测模型训练的训练数据集。