[发明专利]基于深度学习的嘴部状态分类方法、装置、设备和介质

权利要求书

1.一种基于深度学习的嘴部状态分类的方法，其特征在于，所述方法包括：

获取待识别的原始图像，对所述原始图像进行特征点检测以获取人脸特征点，根据所述人脸特征点确定在所述原始图像中目标嘴部区域的嘴部图像；

对所述嘴部图像进行归一化处理，获取归一化处理后的归一化图像；

将所述归一化图像输入嘴部状态分类模型，根据所述嘴部状态分类模型的输出结果确定所述原始图像的嘴部状态。

2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸特征点确定在所述原始图像中目标嘴部区域的嘴部图像，包括：

获取所述人脸特征点的原始坐标，所述人脸特征点的原始坐标包括嘴部特征点的嘴部原始坐标；

根据所述嘴部特征点中第一侧特征点的第一原始坐标及第二侧特征点的第二原始坐标计算人脸旋转角度；

根据所述人脸旋转角度对所述原始图像的角度进行纠偏调整，获取调整后的修正图像；

根据所述人脸旋转角度更新所述人脸特征点的原始坐标，获取更新后的更新坐标，根据所述更新坐标定位所述目标嘴部区域，截取所述修正图像中所述目标嘴部区域的图像，以得到所述嘴部图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸旋转角度更新所述人脸特征点的原始坐标，获取更新后的更新坐标，包括：

选取所述原始图像中的任意一点作为旋转原点，获取所述旋转原点的原点坐标；

以所述旋转原点为圆心，将所述人脸特征点绕着所述旋转原点旋转所述人脸旋转角度，获取所述人脸特征点旋转后的所述更新坐标。

4.根据权利要求1所述的方法，其特征在于，所述归一化处理包括图像大小归一化处理、图像灰度值归一化处理及图像像素值归一化处理中的至少一种。

5.根据权利要求4所述的方法，其特征在于，所述对所述嘴部图像进行归一化处理包括：缩放所述嘴部图像的长边长度和宽边长度，以使得所述长边长度和宽边长度相等；和/或

所述对所述嘴部图像进行归一化处理包括：获取所述嘴部图像在每个通道下每个像素点的像素点像素值，根据所述像素点像素值计算所述嘴部图像在每个通道下的平均灰度值，将所述每个像素点在不同通道下的像素点像素值减去对应通道的平均灰度值；和/或

所述对所述嘴部图像进行归一化处理包括：获取所述嘴部图像在每个通道下的最大像素值和最小像素值，根据所述最大像素值、所述最小像素值及所述像素点像素值进行所述图像像素值归一化处理。

6.根据权利要求1所述的方法，其特征在于，在所述获取待识别的原始图像之前，还包括：

获取训练样本集，所述训练样本集包括样本图像及每一所述样本图像的嘴部样本状态，所述嘴部样本状态包括露齿、张开、闭合及被遮挡中的至少两种；

对所述样本图像进行特征点检测，根据检测到的人脸特征点确定所述样本图像中嘴部样本区域的嘴部样本图像；

对所述嘴部样本图像进行归一化处理，获取归一化处理后的归一化样本图像；

对所述归一化样本图像进行扩增预处理，所述扩增预处理包括图像模糊、角度旋转、调整对比度及切换通道中的至少一种，获取处理后的扩增样本图像，所述扩增样本图像与对应的嘴部样本状态构成扩增样本集；

将所述扩增样本集输入嘴部状态分类模型进行迭代训练，直至基于所述嘴部状态分类模型的训练输出结果及所述嘴部样本状态确定所述嘴部状态分类模型收敛。

7.根据权利要求1所述的方法，其特征在于，所述嘴部状态分类模型包括依次级联的第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层、第三采样层、第一全连接层、修正线性层、第二全连接层及回归逻辑层。