[发明专利]人脸表情分类器的训练、人脸表情的识别方法和装置

说明书

本发明公开了一种人脸表情分类器的训练方法、人脸表情的识别方法和装置，所述训练方法包括：获取若干已预先标注了真实人脸表情类别的人脸表情数据，对三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，并对提取后的特征进行多模态特征融合；将融合后的多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器。采用本发明，通过对三维人脸点云数据进行增强处理，有效提高人脸表情分类器的鲁棒性，提高人脸表情识别的准确性。

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种人脸表情分类器的训练、人脸表情的识别方法和装置。

背景技术

人脸表情(Facial Expression)是人类传达感情信息的最主要、最直观的一种非语言、非接触方法。人脸表情识别(Facial Expression Recognition)旨在利用计算机自动识别及分析人脸表情，并在人类行为方式分析、人机交互设计等领域具有重要作用。近年来，随着高精度深度成像技术的发展，深度信息作为二维光学图像的补充，可以较为准确的刻画人脸的几何结构，弥补了光学图像的缺点，有效的提高了识别准确率。因此，基于2D+3D的多模态人脸表情识别技术得到了广泛关注。

在现有技术的人脸表情识别方法中，通常利用人脸点云数据(3D数据)生成三张属性图，分别为深度图、方位图和立面图，然后利用该三张属性图合成一个三通道RGB图作为网络中FE3DNet支路的输入。在生成三维数据属性图时，方位图和立面图需要通过局部平面拟合(local plane fitting)方法来计算三维数据表面的几何曲率和法线向量。然而，发明人发现现有技术至少存在如下问题：由于点云数据采样时的稀疏性，基于几何信息的平面拟合将会造成不准确的表面曲率和法线向量，这将导致错误的信息被引入到三维属性图中，进而降低三维人脸表情特征的判别程度，并造成最终人脸表情识别准确率下降。

发明内容

本发明实施例的目的是提供一种人脸表情分类器的训练、人脸表情的识别方法和装置，通过对三维人脸点云数据进行增强处理，有效提高人脸表情分类器的鲁棒性，提高人脸表情识别的准确性。

为实现上述目的，本发明实施例提供了一种人脸表情分类器的训练方法，包括：

获取若干已预先标注了真实人脸表情类别的人脸表情数据，作为训练数据集；其中，每一所述人脸表情数据包括二维人脸图像和三维人脸点云数据；

对所述三维人脸点云数据进行判别深度范围标定，并对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图像；

对所述二维人脸图像和所述三维深度属性图像分别进行特征提取，得到二维人脸表情特征和三维人脸表情特征；

将所述二维人脸表情特征和所述三维人脸表情特征进行多模态特征融合，得到多模态特征；

将所述多模态特征输入预设的神经网络，并根据所述真实人脸表情类别，对所述预设的神经网络进行训练，得到所述人脸表情分类器。

作为上述方案的改进，所述对所述三维人脸点云数据进行判别深度范围标定，对标定的判别深度范围对应的三维人脸点云数据进行全局最大熵增强处理，以得到三维深度属性图，具体包括：

对所述三维人脸点云数据在深度方向进行对齐，划分得到M个具有不同判别深度范围的三维人脸点云数据块；

对满足预设的表情判别性信息条件的判别深度范围进行标定，以得到所述标定的判别深度范围对应的三维人脸点云数据；

根据所述判别深度范围对应的三维人脸点云数据，求解带有深度失真约束条件的最大熵目标函数，以得到增强映射函数；