[发明专利]基于深度局部特征的人脸属性识别方法

权利要求书

1.基于深度局部特征的人脸属性识别方法，其特征在于：包括以下步骤：

一、训练阶段

S1.对于训练集中的每一幅人脸图像，利用深度卷积神经网络的不同卷积层计算得到多个尺度下的特征图；

S2.利用得到的多个尺度下的特征图和人脸图像N个局部区域的边界框类标，分别为N个局部区域训练相应的局部区域定位网络；其中N为大于2的整数；

S3.根据训练集中的每一幅人脸图像的多尺度特征图和N个局部区域的边界框类标，计算各个局部区域的多尺度特征图；

S4.将计算得到的各个局部区域的多尺度特征图进行降维，然后将降维后得到的各个局部区域的特征图按其局域区域所在的位置拼接在一起然后进行特征融合；

S5.将步骤S4得到的融合特征送入各局部区域的识别网络，训练局部属性分类器；

二、测试阶段

S6.利用步骤S1提取测试集中人脸图像多个尺度下的特征图，然后利用步骤S2得到的局部区域定位网络从多个尺度下的特征图中定位出N个局部区域；

S7.利用定位出的N个 局部区域的边界框类标及人脸图像多个尺度下的特征图计 算各个局部区域的多尺度特征图；

S8.对计算得到的各个局部区域的多尺度特征图进行降维，然后将降维后得到的各个局部区域的特征图按其局域区域所在的位置拼接在一起然后进行特征融合；

S9.利用步骤S5训练好的局部属性分类器对融合特征进行属性识别，得到各局部区域相关的人脸属性，将各个局部区域相关的人脸属性组合起来，得到测试集中人脸图像的人脸属性；

所述人脸图像N个局部区域包括：额头至头顶的区域、眉毛区域、眼睛区域、鼻子区域、嘴巴区域、下巴区域、脖颈区域、面部区域、头部区域；

所述步骤S2的局部区域定位网络在进行边界框回归训练时，利用候选边界框和真值边界框的重叠率和9个局部区域固有的位置关系作为约束条件：

记第i个局部区域边界框的左上角坐标(x_i,y_i)，宽和高分别为w_i,h_i；

对一给定的像素点(x',y')，记它与第i个局部区域边界框(x_i,y_i,w_i,h_i)左上角、右下角的坐标差值分别为：(Δx_li,Δy_li)和(Δx_ri,Δy_ri)，则显然：

Δx_li＝x'-x_i；Δy_li＝y'-y_i；Δx_ri＝x_i+w_i-x'；Δy_ri＝y_i-h_i-y'

若记该点与真值边界框左上角、右下角的坐标差值分别为和真值边界框与候选边界框重叠区域的宽、高分别为Δx_i、Δy_i，则可得：

候选边界框的面积为：S_i＝(Δx_li+Δx_ri)×(Δy_li+Δy_ri)

真值边界框的面积为：

候选边界框与真值边界框重叠面积为：S_∩i＝Δx_i×Δy_i

其中，而且，若重叠面积为0，即若或则Δx_i＝0，Δy_i＝0；

则可以计算出，第i个局部区域候选边界框与真值边界框的重叠率为：

则对于任何一个局部区域i，真值边界框的约束关系在loss函数中可以表示为

此外根据9个局部区域的标记规则和人脸图像固有的生理构造，各局部区域边界框之间存在如下约束关系：

记额头至头顶的区域、眉毛区域、眼睛区域、鼻子区域、嘴巴区域、下巴区域、脖颈区域、面部区域、头部区域9个局部区域的边界框坐标分别为(x_i,y_i,w_i,h_i)，其中i＝1,2,...,9，则存在：

y₁+h₁＝y₂；x₂＝x₃；y₂＝y₃；x₃＜x₄＜x₄+w₄＜x₃+w₃；y₃＜y₄＜y₅；

y₅+h₅＝y₆；y₆+h₆＝y₇；y₈+h₈＝y₉+h₉；x₈＝x₉；w₈＝w₉；y₉＝y₁

记像素点(x',y')与第i个局部区域边界框(x_i,y_i,w_i,h_i)左上角、右下角的坐标差值分别为：(Δx_li,Δy_li)和(Δx_ri,Δy_ri)，则以上约束关系可对应转化为：

Δy_r1＝-Δy_l2；Δx_l2＝Δx_l3；Δy_l2＝Δy_l3；-Δx_l3＜-Δx_l4＜Δx_r4＜Δx_r3；Δy_l3＞Δy_l4＞Δy_l5；

Δy_r5＝-Δy_l6；Δy_r6＝-Δy_l7；Δy_r8＝-Δy_l9；Δx_l8＝Δx_l9；Δx_l8+Δx_r8＝Δx_l9+Δx_r9；Δy_l9＝Δy_l1

定义条件函数

则：

以Δy_r1＝-Δy_l2；Δy_r5＝-Δy_l6；Δy_r6＝-Δy_l7；Δy_r8＝-Δy_l9作为约束，取相应loss函数为L”_loc1i＝β₁(i)|Δy_ri+Δy_li+1|

以Δy_l2＝Δy_l3；-Δx_l3＜-Δx_l4；Δx_r4＜Δx_r3；Δy_l3＞Δy_l4作为约束，取相应loss函数为L”_loc2i＝β₃(i)(|Δy_li-1-Δy_li|+θ(Δx_li-Δx_li+1)+θ(Δx_ri-Δx_ri+1)+θ(Δy_li-Δy_li+1))

以Δx_l2＝Δx_l3；Δx_l8＝Δx_l9作为约束，取相应loss函数为L”_loc3i＝β₂(i)|Δx_li-Δx_li+1|

以Δy_l9＝Δy_l1作为约束，取loss函数为L”_loc4i＝β₄(i)(|Δy_li-Δy_li-8|+|Δx_ri-1-Δx_ri|)

以-Δx_l4＜Δx_r4；Δy_l4＞Δy_l5作为约束，取相应loss函数为

L”_loc5i＝β₅(i)(θ(Δx_ri+Δx_li)+θ(Δy_li-Δy_li+1))

以上约束均为两个局部区域相对位置关系的局部约束，组合起来，即可做为整个人脸9个局部区域间的边界框约束条件：

L”_loci＝L”_loc1i+L”_loc2i+L”_loc3i+L”_loc4i+L”_loc5i

＝β₁(i)|Δy_ri+Δy_li+1|+β₃(i)(|Δy_li-1-Δy_li|+θ(Δx_li-Δx_li+1)+θ(Δx_ri-Δx_ri+1)+θ(Δy_li-Δy_li+1))+β₂(i)|Δx_li-Δx_li+1|+β₄(i)(|Δy_li-Δy_li-8|+|Δx_ri-1-Δx_ri|)+β₅(i)(θ(Δx_ri+Δx_li)+θ(Δy_li-Δy_li+1))。

2.根据权利要求1所述的基于深度局部特征的人脸属性识别方法，其特征在于：所述降维为2DPCA降维。