[发明专利]融合注意力机制与高阶特征表示的面部情感识别方法在审
申请号: | 202111439715.3 | 申请日: | 2021-11-30 |
公开(公告)号: | CN114170657A | 公开(公告)日: | 2022-03-11 |
发明(设计)人: | 孙强;梁乐;梅路洋 | 申请(专利权)人: | 西安理工大学 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V10/772;G06V10/80;G06V10/82;G06N3/04;G06N3/08 |
代理公司: | 西安弘理专利事务所 61214 | 代理人: | 王敏强 |
地址: | 710048 陕*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 融合 注意力 机制 特征 表示 面部 情感 识别 方法 | ||
本发明公开了一种融合注意力机制与高阶特征表示的面部情感识别方法,首先采集目标图像,并分为训练样本集和测试样本集;然后读取训练样本集中每个样本图像原始情感标注值,并将训练样本集中每个样本图像送入多任务级联的卷积神经网络中得到输出图像,然后将预处理后得到的图像输入到残差注意力网络中,得到注意力输出特征图;最后将输出特征图分别送入基于通道的全局二阶池化网络和基于空间位置的全局二阶池化网络,从而得到与情感对应的输出特征,并通过回归器得到情感状态值。本发明解决了现有的基于注意力机制的面部情感识别方法对情感特征之间长距离依赖关系建模困难和网络非线性表征能力不足的问题。
技术领域
本发明属于模式识别技术领域,具体涉及一种融合注意力机制与高阶特征表示的面部情感识别方法。
背景技术
近些年随着社会的不断发展以及各方面对于快速有效的自动情感识别的迫切需要,生物特征识别技术在近十几年中得到了飞速的发展。在现实生活中,为了正常的社会交流和需求,人们之间需要进行必要的情感识别,以判断对方的情绪做出正确的行为回应。
早在1981年,Aaron Sloman就提出了关于人工智能情感的研究。1985年,人工智能的奠基人之一Marvin Minsky提出计算机和情感的问题。1995年,MIT媒体实验室的Rosalind W.Picard正式提出情感计算的概念,并于1997年在《情感计算》中定义“情感计算”为“与情感有关、由情感引发或者能够影响情感因素的计算”。
情感识别作为识别领域的重要分支之一,近些年一直是广大学者的重点研究对象。对于静态人脸图像,在传统的识别方法中,研究者通常人为地提取情感特征(例如基于Dlib的68特征点),然后送入预先设计好的分类器进行分类(SVM、决策树、随机森林等),得到最终的情感预测结果。然而,这种方法在实际操作中,需要利用丰厚的经验去人工地选择合适的情感特征,并且往往需要耗费大量的时间和精力。而且,不同的特征对最终的结果贡献度不同,传统的方法并没有对其进行很好的区分。
近些年,随着计算机能力的不断提升,深度学习被重新提出。因其强大的特征学习能力和高性能,逐渐取代传统的机器学习成为识别领域的主流方法。目前基于深度学习的情感分析方法中,大多方法会结合注意力机制对有效特征进行筛选,但缺少对情感语义特征间长距离依赖关系的有效建模。而且,传统方法针对不同的任务会训练不同的模型,没有利用到相关任务之间的相似性,深度网络的非线性表征能力也不足。
发明内容
本发明的目的是提供一种融合注意力机制与高阶特征表示的面部情感识别方法,解决了现有的基于注意力机制的面部情感识别方法对情感特征之间长距离依赖关系建模困难和网络非线性表征能力不足的问题。
本发明所采用的技术方案是,融合注意力机制与高阶特征表示的面部情感识别方法,具体按照以下步骤实施:
步骤1、采集目标图像,将目标图像划分为训练样本集xtrain和测试样本集xtest;
步骤2、读取训练样本集xtrain中每个样本图像原始情感标注值,并将训练样本集xtrain中每个样本图像送入多任务级联的卷积神经网络MTCNN中,根据人脸检测和5个关键特征点,完成人脸对齐,得到输出图像xinput=[x1,x2,...,xn],其中,xn表示第n张输出图像,n表示输出图像的总数,即训练样本集xtrain中图像的总数;
步骤3、将预处理后得到的图像xinput输入到残差注意力网络中,然后通过主干分支提取不同感受野的特征Mi,c(x)、掩码分支学习注意力权重Ti,c(x);最后,将主干分支的输出和掩码分支的输出进行点积运算,得到注意力输出特征图Hi,c(x);
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安理工大学,未经西安理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111439715.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种促进沉香树结香的方法
- 下一篇:大面积违法目标识别处理方法、装置和系统