[发明专利]人脸表情识别方法、系统、存储介质、计算机程序、终端

说明书

本发明属于计算机视觉技术领域，公开了一种人脸表情识别方法、系统、存储介质、计算机程序、终端，根据给定的深度图和RGB图片组合预训练一个图像生成模型，训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像；生成RGB图像中表情的眉、眼以及嘴部，训练考虑眉、眼以及嘴部的卷积神经网络，卷积神经网络实现表情识别。本发明眼、眉、嘴部的特征信息得到加强，识别准确率更高；图像生成模型的效果比较好，通过图像生成模型，不仅关于表情的重要信息得到保留，用于表情识别的RGB图形式也得到了统一；表情识别的准确率也更高；在仅用深度图一个通道进行识别时，本发明取得的效果是更好的。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种人脸表情识别方法、系统、存储介质、计算机程序、终端。

背景技术

目前，二维RGB彩色图像的表情识别研究取得了巨大进展。通过将实验室采集的RGB表情图像放入卷积神经网络、深度挖掘并提取图中表情的特征、训练网络学会表情的分类是目前的主流研究方向。但值得一提的是，用这样的方法进行表情分类仍有许多不足之处。二维RGB表情图片是一种彩色图片，用这样的图片进行表情分类容易受到光线、角度以及肤色等与表情无关的因素影响，神经网络对于相同表情相同特征的提取很可能因为这些因素的不同而不同，但这些因素实际上与一个人的表情是无关的；这类方法引入了许多与表情无关的信息，在很大程度上影响了表情识别的准确率与效率，尤其是面对不同环境下采集的图片时，问题则更为严重。

随着高分辨率三维图像设备的发展，用扫描得到的三维人脸数据进行表情分类是一个新的解决思路。其中深度图是描述三维数据的一种常用载体，通过扫描出的三维坐标映射得到灰度图。深度图排除了拍照角度、光线、肤色等与表情无关的因素，只反映三维信息。用这类数据训练网络将使网络更专注于与表情有关的几何信息。但在表情识别领域，在光照等其他因素可控的条件下，基于二维RGB彩色图像的表情识别准确率高于基于深度图的表情识别办法，因为彩色图片中包含着许多与表情有关的纹理信息，是不可忽略的信息。

综上所述，在当下，基于二维RGB彩色图像的表情识别方法很难做到针对不同场景下的通用表情识别方法，其原因如前所述，在面对不同环境下采集的图片时，识别的准确率受到了严重的影响。而在使用扫描得到的三维人脸数据时，由于纹理信息的缺失，其表情的识别率仍有待提高；这是我们希望设计方案解决的。

通过上述分析，现有技术存在的问题及缺陷为：如何设计方案，既保留深度图在跨场景下的不受影响的几何信息优势，又能结合RGB图像的表情纹理信息，并实现较高的表情识别准确率。

解决以上问题及缺陷的难度为：

1.如何在只有深度图像输入的情况下，生成单一场景下的RGB图像。

2.针对生成的RGB图像，如何尽可能地提高表情识别的准确率。

解决以上问题及缺陷的意义为：为提高跨场景下的表情识别准确度提供了一种解决方案；只要求输入单张深度图像，即可自动生成相应的RGB表情图像并识别，不再像现有技术，为了保证一个高的识别率，对场景采集要求极高，扩大表情识别方案的适用范围，提高方案的可推广性。

发明内容

针对现有技术存在的问题，本发明提供了一种人脸表情识别方法、系统、存储介质、计算机程序、终端。

本发明是这样实现的，一种人脸表情识别方法，所述人脸表情识别方法包括：

第一步，根据给定的深度图和RGB图片组合预训练一个图像生成模型，训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像。将不同场景下采集的图片转化为统一的预训练场景，从而减少场景对表情识别带来的干扰信息；由于相机直接采集的二维RGB表情图像，在不同场景下表现极为不同。而深度图是来源于三维人脸数据，三维人脸数据并不受场景影响，因此深度图是稳定并且统一的形式。再通过预训练的生成模型，根据深度图生成RGB图，实现不同场景数据统一成训练场景数据。具体步骤如下：