[发明专利]基于光流注意力神经网络的跨库微表情识别方法及装置有效
| 申请号： | 201910756936.X | 申请日： | 2019-08-16 |
| 公开（公告）号： | CN110516571B | 公开（公告）日： | 2022-02-11 |
| 发明（设计）人： | 郑文明;夏万闯;宗源;江星洵;路成;刘佳腾 | 申请（专利权）人： | 东南大学 |
| 主分类号： | G06V40/16 | 分类号： | G06V40/16;G06V10/774;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人： | 冯艳芬 |
| 地址： | 211102 江*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于光流注意力神经网络的跨库微表情识别方法及装置，方法包括：(1)获取两个不同的微表情数据库作为训练集和测试集；(2)将微表情视频转化为人脸图像序列；(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图；(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成融合特征图；(5)建立光流注意力神经网络，并将训练集和测试集对应融合特征图作为输入进行训练；(6)将待识别的微表情视频处理得到融合特征图，输入光流注意力神经网络，得到微表情类别。本发明泛化能力强，识别准确率高。 | ||
| 搜索关键词： | 基于 流注 神经网络 跨库微 表情 识别 方法 装置 | ||
【主权项】：
1.一种基于光流注意力神经网络的跨库微表情识别方法，其特征在于该方法包括：/n(1)获取两个不同的微表情数据库，分别作为训练集和测试集，其中，每个数据库中包含有若干个微表情视频及其对应的微表情类别标签；/n(2)将训练集和测试集中所有微表情视频转化为对应的人脸图像序列；/n(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图；/n(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成一幅多通道图像，作为对应微表情视频的融合特征图；/n(5)建立光流注意力神经网络，并将训练集和测试集中微表情视频的融合特征图同时输入进行训练，训练时采用的整体损失函数为：训练集对应的神经网络输出和测试集对应的神经网络输出的最大均值差异，加上训练集对应的神经网络输出经过Softmax处理得到的微表情类别和训练集中存储的微表情类别标签的交叉熵；/n(6)将待识别的微表情视频按照步骤(2)～(4)进行处理，得到融合特征图，并将得到的融合特征图输入训练好的光流注意力神经网络，输出即为识别出的微表情类别。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东南大学，未经东南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910756936.X/，转载请声明来源钻瓜专利网。
