[发明专利]一种基于面部动作组合检测的情绪识别方法及装置在审
申请号: | 202210105954.3 | 申请日: | 2022-01-28 |
公开(公告)号: | CN114581971A | 公开(公告)日: | 2022-06-03 |
发明(设计)人: | 王淑欣;刘小青;俞益洲;李一鸣;乔昕 | 申请(专利权)人: | 北京深睿博联科技有限责任公司;杭州深睿博联科技有限公司 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V10/25;G06V10/764;G06V10/82;G06N3/04 |
代理公司: | 北京天方智力知识产权代理事务所(普通合伙) 11719 | 代理人: | 路远 |
地址: | 100080 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 面部 动作 组合 检测 情绪 识别 方法 装置 | ||
1.一种基于面部动作组合检测的情绪识别方法,其特征在于,包括以下步骤:
获取脸部图像,对所述图像进行特征提取;
将提取的图像特征输入注意力模块,得到每个面部动作在脸部的空间位置及脸部感兴趣区域特征;
基于所述空间位置和感兴趣区域特征,利用transformer自注意力机制获得不同面部动作的关联特征,进而对面部动作进行预测;
通过对所述关联特征进行融合对面部动作的组合进行预测,从而得到情绪变化。
2.根据权利要求1所述的基于面部动作组合检测的情绪识别方法,其特征在于,利用残差网络ResNet34对输入图像进行特征提取;ResNet34是由5个卷积模块组成,第一个卷积模块由一个7*7的卷积和一个3*3的下采样卷积组成,第二个、第三个、第四个、第五个卷积模块均是由两个3*3的卷积模块组成的残差模块,残差模块的输入x经过两个3*3的卷积后与x相加,再经一个ReLU激活层输出;第五个卷积模块的输出为ResNet34的输出。
3.根据权利要求2所述的基于面部动作组合检测的情绪识别方法,其特征在于,所述面部动作包括:抬起眉毛内角,抬起眉毛外角,皱眉,上眼睑上升,脸颊提升,眼睑收紧,鼻子皱起,上唇抬起,拉动嘴角,收紧嘴角,嘴角向下,下唇抬起,噘嘴,嘴角拉伸,收紧嘴唇,嘴唇按压,双唇分开,下巴下降,嘴巴张大,闭眼。
4.根据权利要求3所述的基于面部动作组合检测的情绪识别方法,其特征在于,获得面部动作在脸部的空间位置及脸部感兴趣区域特征的方法包括:
将提取的NT个图像特征T输入至注意力模块,依次经过3个残差模块、NA个1*1的卷积、一个ReLU激活层、NA个1*1的卷积,最后通过Sigmoid激活函数得到每个面部动作在脸部的空间位置;将注意力模块得到的NA个注意力特征图分别与NT个图像特征T相乘,再与NT个图像特征T相加,得到NA组特征图,每组NT个特征图;NA等于面部动作的数量。
5.根据权利要求4所述的基于面部动作组合检测的情绪识别方法,其特征在于,所述利用transformer自注意力机制获得不同面部动作的关联特征,进而对面部动作进行预测,具体包括:
将所述NA组特征图分别经过1*1卷积、成批归一化和ReLU,每组特征图输出一个长度为n的一维向量,共得到NA个一维向量,将这NA个一维向量进行特征融合得到长度为n*NA的一维特征图C;将C输入到由多头注意力模块和前馈网络组成的transformer编码器中,多头注意力模块的输出经过两个全连接层之后输出面部动作的预测值。
6.根据权利要求5所述的基于面部动作组合检测的情绪识别方法,其特征在于,情绪变化的识别方法包括:
将transformer自注意力机制输出的关联特征输入到由两个全连接层组成的特征融合模块中,输出多个特征层,经Softmax函数预测多个面部动作的组合,每个组合对应一种情绪变化;
多个面部动作的组合对应的情绪变化为:抬起眉毛内角+抬起眉毛外角+皱眉:惊恐;抬起眉毛内角+抬起眉毛外角:惊奇;抬起眉毛内角+皱眉:悲伤;皱眉+上眼睑上升:愤怒;脸颊提升+拉动嘴角:开心;上唇抬起+双唇分开:厌恶;噘嘴+收紧嘴唇:困惑。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京深睿博联科技有限责任公司;杭州深睿博联科技有限公司,未经北京深睿博联科技有限责任公司;杭州深睿博联科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210105954.3/1.html,转载请声明来源钻瓜专利网。