[发明专利]基于VR情景人脸图像复原的表情识别方法、设备及介质

说明书

本发明公开了一种基于VR情景人脸图像复原的表情识别方法，包括步骤：合成VR情景叠加人脸图像：将所拍摄的VR人脸图像和VR人眼图像合成为VR情景叠加人脸图像；复原完整人脸图像：采用公开人脸数据集进行VR设备的模拟穿戴及人眼叠加，有监督地训练生成对抗网络，输入合成的所述VR情景叠加人脸图像，复原出完整人脸图像；表情识别分类器的实现：使用并训练小型卷积神经网络得到表情识别分类器；完整人脸图像的表情识别：使用训练好的表情识别分类器对复原的完整人脸图像进行表情识别。本发明解决了头戴设备对于部分人脸的遮挡造成的人脸图像残缺问题，复原出的完整人脸图像细节逼真且很好的保留了使用者的ID特征，表情识别准确率高。

技术领域

本发明涉及表情识别领域，具体涉及一种基于VR情景的人脸图像复原的表情识别方法、设备及介质。

背景技术

近些年来，人工智能发展的脚步越来越快，其中虚拟现实(VR)技术的发展功不可没。虚拟现实，是一种综合利用计算机图形系统和现实中各种接口设备，在计算机上生成可交互的沉浸式环境的技术，VR设备自然就是将虚拟世界和现实世界连接的入口。VR技术以其能够给用户完全沉浸体验的优势快速成为了人工智能领域的潮流。VR技术在娱乐、游戏、教育、医疗、工程、军事、航空等领域开始应用。 近两年来，VR在智能医疗（比如抑郁症）领域的应用前景被广泛关注并被寄予厚望。VR智能医疗无论是在抑郁症的诊断还是治疗上都是前所未有的创新，将给这个领域带来迅猛的发展。所谓相由心生，表情是人类对事物喜恶的最直观的表现，抑郁症人群的表情对其心理的反映尤为重要。VR设备在给抑郁症病人带来沉浸式场景的同时，需要实时捕捉到病人的面部表情，以获得场景与心理的对应关系。目前大多数VR产品有着明显的局限性，它们对使用者手、头、肢体的追踪已经较为成熟，然而由于VR眼镜对于部分人脸的遮挡造成人脸图像残缺，使得目前的VR设备对于使用者情绪最直观的表达——人脸表情信息的捕捉十分困难。还有部分VR设备通过传感器捕获的肌电信号间接分析使用者的表情，然而这种方法不够直接并且准确率较低。因此，针对目前VR设备的这种局限性，我们迫切需要一种基于VR情景的表情识别方法。

发明内容

为了克服现有VR表情识别方法存在的缺点与不足，本发明提供一种基于VR情景人脸图像复原技术的表情识别方法，从而准确识别面部表情，表情识别准确率高。

本发明的上述目的采用如下技术方案实现：

一种基于VR情景人脸图像复原的表情识别方法，包括步骤：

合成VR情景叠加人脸图像：将所拍摄的VR人脸图像和VR人眼图像合成为VR情景叠加人脸图像；

复原完整人脸图像：采用公开人脸数据集进行VR设备的模拟穿戴及人眼叠加，有监督地训练生成对抗网络，输入合成的所述VR情景叠加人脸图像，复原出完整人脸图像；

表情识别分类器的实现：使用并训练小型卷积神经网络得到表情识别分类器；

完整人脸图像的表情识别：使用训练好的表情识别分类器对复原出的完整人脸图像进行表情识别。

进一步地，所述合成VR情景叠加人脸图像时，采用仿射变换将VR人眼图像合成到VR人脸图像上，得到叠加人脸图像。

进一步地，所述VR人眼图像通过VR头戴设备中内嵌的红外摄像头拍摄的被VR设备遮挡的人脸眉毛、眼睛区域的图像得到；所述VR人脸图像通过使用者正前方摄像头拍摄未被VR设备遮挡的鼻子、嘴唇及下巴人脸图像得到。

进一步地，所述复原完整人脸图像时，采用公开人脸数据集进行VR设备的模拟穿戴及人眼叠加，使用每个人的三张图像有监督地训练生成对抗网络，通过生成的对抗网络输出复原后的完整人脸图像。

进一步地，所述的每个人的三张图像包括：VR情景人眼图像合成至VR情景人脸图像上得到的所述VR情景叠加人脸图像、非VR情景下的真实人脸图像和此人的另一张参考人脸图像。