[发明专利]人脸表情分类器的训练、人脸表情的识别方法和装置

权利要求书

1.一种人脸表情分类器的训练方法，其特征在于，包括：

获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集；其中，每一所述人脸表情数据包括二维人脸图像和三维人脸点云数据；

对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；

对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；

将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；

将所述多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器。

2.如权利要求1所述的人脸表情分类器的训练方法，其特征在于，所述对所述三维人脸点云数据进行判别深度范围标定，对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图，具体包括：

对所述三维人脸点云数据在深度方向进行对齐，划分得到M个具有不同判别深度范围的三维人脸点云数据块；

对满足预设的表情判别性信息条件的判别深度范围进行标定，以得到所述标定的判别深度范围对应的三维人脸点云数据；

根据所述判别深度范围对应的三维人脸点云数据，求解带有深度失真约束条件的最大熵目标函数，以得到增强映射函数；

根据所述增强映射函数，对所述判别深度范围对应的三维人脸点云数据中的深度值进行映射，得到三维深度属性图。

3.如权利要求2所述的人脸表情分类器的训练方法，其特征在于，所述对所述三维人脸点云数据在深度方向进行对齐，划分得到M个具有不同判别深度范围的三维人脸点云数据块，具体包括：

对所述三维人脸点云数据在深度方向进行对齐，并通过计算公式d_i＝d_min+i×d_res，划分得到M个不同的判别深度范围；其中，d_i为判别深度范围，d_min为最小判别深度范围，d_res为深度分辨率；i＝1,2,...,M；

根据每一所述判别深度范围，获取对应的三维人脸点云数据块。

4.如权利要求2所述的人脸表情分类器的训练方法，其特征在于，所述带有深度失真约束条件的最大熵目标函数，具体为：

其中，N为三维人脸点云数据的深度动态范围，K为所述三维深度属性图的深度动态范围，d_k为所述判别深度范围对应的三维人脸点云数据的深度动态范围取值，k为所述三维深度属性图的深度动态范围取值；P[d_k,d_k+1)为深度动态范围[d_k,d_k+1)的概率，τ为深度失真约束条件阈值。

5.如权利要求1所述的人脸表情分类器的训练方法，其特征在于，在所述获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集之后，所述方法还包括：

对所述二维人脸图像进行灰度值归一化处理，并对灰度值归一化处理后的二维人脸图像进行均值标准化处理，得到二维人脸增强图像；

则，所述对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征，具体为：

对所述二维人脸增强图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征。

6.如权利要求5所述的人脸表情分类器的训练方法，其特征在于，所述对灰度值归一化处理后的二维人脸图像进行均值标准化处理，得到二维人脸增强图像，具体包括：

对灰度值归一化处理后的二维人脸图像，通过以下计算公式进行均值标准化处理，得到所述二维人脸增强图像：

其中，x为所述二维人脸增强图像，为所述灰度值归一化处理后的二维人脸图像，μ为所述训练数据集中所有二维人脸图像的像素均值；δ为所述训练数据集中所有二维人脸图像的方差均值。