[发明专利]一种人脸表情匹配方法、装置、设备及存储介质

说明书

本申请提供一种人脸表情匹配方法、装置、设备及计算机可读存储介质，所述方法包括：在检测到表情匹配指令后，获取选定的两张待识别人脸图像分别对应的目标人脸的人脸特征点；根据两张目标人脸的人脸特征点，分别通过预先建立的人脸姿态估计模型，获取对应的人脸朝向的角度信息，以计算所述两张目标人脸的脸部相似度；基于所述两张目标人脸的人脸特征点，分别获取所述两张目标人脸指定特征部位的状态信息，以计算所述两张目标人脸的指定特征部位的相似度；基于所述两张目标人脸的脸部相似度以及指定特征部位的相似度，确定两张人脸图像的人脸表情是否匹配，本申请能够有效提高人脸表情识别的准确度。

技术领域

本申请涉及图像处理领域，尤其涉及一种人脸表情匹配方法、装置、设备及计算机可读存储介质。

背景技术

随着计算机技术和人工智能技术的迅猛发展，人们对类似于人和人交流方式的人机交互的需求日益强烈。人脸表情分析是人类视觉中较为普遍的人机交互模式，它使得计算机能够根据人的表情信息，推断人的心理状态，从而实现人机之间的智能交互。随着人脸表情分析技术的发展，其应用的领域也越来越广，比如将人脸表情分析技术应用于游戏领域，产生了多种形式的交互游戏，如人脸表情消消乐，是一种基于人脸表情的匹配程度来消除表情的一种游戏形式。

但是，发明人在实现本发明的过程中，发现：现有的人脸表情匹配方法，通常都是在分别识别出几张待识别图像中的人脸图像之后，从这些人脸图像中提取出眼睛部位、嘴巴部位，然后基于判断眼睛部位或者嘴巴部位的开闭程度，来确定这几张待识别图像中的人脸表情是否匹配，但是自然人的表情千变万化，眼睛部位、嘴巴部位并不是表情匹配的唯一参照变量，仅仅基于眼睛部位或者嘴巴部位的开闭程度来确定人脸表情的匹配相似度是一种比较粗糙的方法，其表情匹配结果的正确率往往较低。

发明内容

有鉴于此，本申请提供一种人脸表情匹配方法、装置、设备及计算机可读存储介质。

首先，本申请的第一方面提供了一种人脸表情匹配方法，所述方法具体包括：

在检测到表情匹配指令后，获取选定的两张待识别人脸图像分别对应的目标人脸的人脸特征点；

根据两张目标人脸的人脸特征点，分别通过预先建立的人脸姿态估计模型，获取对应的人脸朝向的角度信息，以计算所述两张目标人脸的脸部相似度；

基于所述两张目标人脸的人脸特征点，分别获取所述两张目标人脸指定特征部位的状态信息，以计算所述两张目标人脸的指定特征部位的相似度；

基于所述两张目标人脸的脸部相似度以及指定特征部位的相似度，确定两张人脸图像的人脸表情是否匹配。

优选地，所述目标人脸的人脸特征点基于将待识别人脸图像输入预先建立的人脸检测模型中获得的。

优选地，所述人脸姿态估计模型的输入参量为从所述目标人脸的人脸特征点中获取的指定特征点；所述指定特征点至少包括：鼻尖、下巴、左眼的左角、右眼的右角、嘴的左角和嘴的右角。

优选地，所述两张目标人脸的脸部相似度通过以下方式计算：

基于所述两张目标人脸对应的人脸朝向的角度信息、以及预设脸部朝向最大差阈值，分别计算在预设三维坐标系内所述两张目标人脸沿X轴朝向的第一相似度、沿Y轴朝向的第二相似度以及沿Z轴朝向的第三相似度；其中，预设脸部朝向最大差阈值不等于0；所述第一相似度等于1减去第一数值的结果，所述第一数值为所述两张目标人脸沿X轴朝向的角度之差的绝对值与预设脸部朝向最大差阈值的比值；所述第二相似度等于1减去第二数值的结果，第二数值为所述两张目标人脸沿Y轴朝向的角度之差的绝对值与预设脸部朝向最大差阈值的比值；所述第三相似度等于1减去第三数值的结果，第三数值为所述两张目标人脸沿Z轴朝向的角度之差的绝对值与预设脸部朝向最大差阈值的比值；

基于所述第一相似度、第二相似度以及第三相似度之和，获取两张目标人脸的脸部相似度。