[发明专利]一种识别表情的方法、装置、设备及介质

权利要求书

1.一种识别表情的方法，包括：

获取包含人脸特征的待识别图像；

基于局部二值模式算法，得到所述待识别图像对应的局部二值模式图像；

获取所述待识别图像对应的第一图像特征和所述局部二值模式图像对应的第二图像特征；

将所述第一图像特征和所述第二图像特征进行融合，得到融合后的图像特征；

利用基于注意力机制搭建的表情识别模型，对所述融合后的图像特征进行处理，得到针对所述待识别图像的表情识别结果。

2.根据权利要求1所述的方法，所述获取包含人脸图像的待识别图像之后，还包括：

利用人脸对齐算法，对所述待识别图像进行人脸对齐处理。

3.根据权利要求1所述的方法，所述获取所述待识别图像对应的第一图像特征和所述局部二值模式图像对应的第二图像特征，具体包括：

利用第一预设残差网络模型对所述待识别图像进行特征提取处理，得到所述待识别图像对应的第一图像特征；

利用第二预设残差网络模型对所述局部二值模式图像进行特征提取处理，得到所述局部二值模式图像对应的第二图像特征。

4.根据权利要求3所述的方法，所述第一预设残差网络模型和/或所述第二预设残差网络模型包括ResNet模型。

5.根据权利要求1所述的方法，所述将所述第一图像特征和所述第二图像特征进行融合，得到融合后的图像特征，具体包括：

基于第一特征融合算法，将所述第一图像特征和所述第二图像特征进行特征融合，得到融合后的图像特征；所述融合后的图像特征的特征维度与所述第一图像特征和所述第二图像特征的特征维度相同。

6.根据权利要求1所述的方法，所述将所述第一图像特征和所述第二图像特征进行融合，得到融合后的图像特征，具体包括：

基于第一特征融合算法，将所述第一图像特征和所述第二图像特征进行特征融合，得到第一融合图像特征；所述第一融合图像特征的特征维度与所述第一图像特征和所述第二图像特征的特征维度相同；

利用局部注意力机制提取所述第一融合图像特征的局部特征；

利用全局注意力机制提取所述第一融合图像特征的全局特征；

基于第二特征融合算法，将所述局部特征和所述全局特征进行特征融合，得到第二融合图像特征。

7.根据权利要求6所述的方法，所述基于第二特征融合算法，将所述局部特征和所述全局特征进行特征融合之前，还包括：

对所述全局特征和所述局部特征进行非线性增强处理，得到处理后的全局特征和处理后的局部特征；

所述将所述局部特征和所述全局特征进行特征融合，具体包括：

将所述处理后的全局特征和所述处理后的局部特征进行特征融合。

8.根据权利要求1所述的方法，所述利用基于注意力机制搭建的表情识别模型，对所述融合后的图像特征进行处理，具体包括：

将所述待识别图像划分为预设数量的子图像；

获取各个子图像的图像特征；

将所述融合后的图像特征与所述各个子图像的图像特征，按照预设排列顺序进行排列，得到特征输入队列；

将所述特征输入队列输入所述利用基于注意力机制搭建的表情识别模型。

9.根据权利要求8所述的方法，所述表情识别模型包括位置编码器、Transformer编码器以及表情分类器；

所述将所述特征输入队列输入所述利用基于注意力机制搭建的表情识别模型，具体包括：

利用所述位置编码器，对所述特征输入队列进行位置编码，得到特征序列；

将所述特征序列输入所述Transformer编码器，得到编码特征；

将所述编码特征输入所述表情分类器，得到表情识别结果。

10.根据权利要求8所述的方法，所述预设排列顺序是基于机器学习的方式确定的。