[发明专利]一种基于DCNNs-LSTM模型的表情追踪方法

权利要求书

1.一种基于DCNNs-LSTM模型的表情追踪方法，其特征在于，包括以下步骤：

S1、生成训练数据集：在包含人脸的视频中，标注出视频中人脸的面部68个特征点的3D坐标、左右两眼的眼神位置以及头部偏移的3D信息，将视频按单帧切成单张图片，标注信息也按单帧进行封装，获得该人脸在时间上连续的图片集；将从多个视频中提取出的多个人脸图片集作为训练数据集；

S2、结合深度卷积神经网络DCNN和LSTM网络共同提取面部及头部、眼神特征，其中，DCNN用于学习空间特征，LSTM用学习时间特征，具体为：

对同时输入的多张相邻帧图片，由对应的多个DCNN同时提取相应图片的人脸特征信息，将DCNN的输出值作为LSTM网络的输入值，在LSTM层中，多个时刻的输出值将用于下一时刻的特征值，由输出门决定网络的输出值，预测结果为213个坐标值，包括68个特征点的3D坐标、左右两眼的眼神3D坐标和头部3D坐标；

采用步骤S1获得的训练数据集对DCNNs-LSTM模型进行训练；

S3、采用训练好的DCNNs-LSTM模型提取视频中人脸的面部、眼神及头部3D信息；

S4、对模型提取的三维坐标做网格重建并经数据转换模型生成形变系数，用于对人脸3D模型进行控制，实现表情追踪。

2.根据权利要求1所述的一种基于DCNNs-LSTM模型的表情追踪方法，其特征在于，步骤S2中所述深度卷积神经网络DCNN的结构为：第一层为3×3的标准卷积，接着是9层分离卷积，再由1层平均池化层将特征图归一化为1×1×1024大小。

3.根据权利要求2所述的一种基于DCNNs-LSTM模型的表情追踪方法，其特征在于，步骤S2中，所述LSTM网络为根据前t-5帧信息预测出t时刻的信息。