[发明专利]一种微表情识别方法及装置有效
申请号: | 202010075366.0 | 申请日: | 2020-01-22 |
公开(公告)号: | CN111274978B | 公开(公告)日: | 2023-05-09 |
发明(设计)人: | 陈华俊;高军礼;蔡吉轮 | 申请(专利权)人: | 广东工业大学 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V10/77;G06V10/764 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 许庆胜 |
地址: | 510060 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 表情 识别 方法 装置 | ||
1.一种微表情识别方法,其特征在于,包括:
结合光流法和二分法求取预置微表情视频帧的高潮帧;
在高潮特征图集的每一帧中获取N个特定区域,所述高潮特征图集根据所述高潮帧与预置个帧相加得到;
通过根据光流法求取的每个像素的光流参数获取每个所述特定区域的M维特征向量,具体过程包括:
将360度通过M个特征方向进行等分;
计算每个所述特定区域中的每个像素点的所述光流参数,所述光流参数包括光流方向、绝对光流速度和光流应变;
确定每个像素点的光流方向分别与相邻两个特征方向之间的相对夹角;
根据所述相对夹角、所述绝对光流速度和所述光流应变分别求取每个像素点在所述相邻两个特征方向上的光流特征;
将每一个特征方向上的所述光流特征累加,得到M维特征向量;
将求得的所有所述特征向量输入预置GRU模型中进行特征提取,得到高潮动态特征;
根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征,具体过程包括:
将所述高潮帧拉伸为列向量;
根据所述预置基矩阵和局部非负矩阵分解法对所述列向量进行分解计算,得到系数向量,将所述系数向量作为所述高潮静态特征;
将所述高潮动态特征和所述高潮静态特征融合,并输入预置分类器进行分类,得到分类结果。
2.根据权利要求1所述的微表情识别方法,其特征在于,所述结合光流法和二分法求取预置微表情视频帧的高潮帧,之前还包括:
对微表情视频集进行预处理,得到所述预置微表情视频帧,所述预处理包括:特征点提取、直方图均衡、人脸矫正和剪裁。
3.根据权利要求1所述的微表情识别方法,其特征在于,所述在高潮特征图集的每一帧中获取N个特定区域,包括:
在高潮特征图集的每一帧中提取出n1个第一区域;
将每个所述第一区域划分为n2个第二区域,总共得到N个特定区域,所述N=n1×n2。
4.根据权利要求1所述的微表情识别方法,其特征在于,所述根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征,还包括:
采用非负矩阵分解法获取宏观表情特征向量集;
根据所述宏观表情特征向量集与所述高潮静态特征中的微表情特征向量集建立关联,获取新的表情特征向量集,并将所述新的表情特征向量集加入所述微表情特征向量集中。
5.一种微表情识别装置,其特征在于,包括:
高潮帧模块,用于结合光流法和二分法求取预置微表情视频帧的高潮帧;
区域划分,用于在高潮特征图集的每一帧中获取N个特定区域,所述高潮特征图集根据所述高潮帧与预置个帧相加得到;
多维向量模块,用于通过根据光流法求取的每个像素的光流参数获取每个所述特定区域的M维特征向量,所述多维向量模块包括:
多维向量子模块,用于将360度通过M个特征方向进行等分;
计算每个所述特定区域中的每个像素点的所述光流参数,所述光流参数包括光流方向、绝对光流速度和光流应变;
确定每个像素点的光流方向分别与相邻两个特征方向之间的相对夹角;
根据所述相对夹角、所述绝对光流速度和所述光流应变分别求取每个像素点在所述相邻两个特征方向上的光流特征;
将每一个特征方向上的所述光流特征累加,得到M维特征向量;
动态特征提取模块,用于将求得的所有所述特征向量输入预置GRU模型中进行特征提取,得到高潮动态特征;
静态特征提取模块,用于根据预置基矩阵和局部非负矩阵分解法计算所述高潮帧的高潮静态特征,所述静态特征提取模块包括:
静态特征提取子模块,用于将所述高潮帧拉伸为列向量;
根据所述预置基矩阵和局部非负矩阵分解法对所述列向量进行分解计算,得到系数向量,将所述系数向量作为所述高潮静态特征;
分类模块,用于将所述高潮动态特征和所述高潮静态特征融合,并输入预置分类器进行分类,得到分类结果。
6.根据权利要求5中所述的微表情识别装置,其特征在于,还包括:
预处理模块,用于对微表情视频集进行预处理,得到所述预置微表情视频帧,所述预处理包括:特征点提取、直方图均衡、人脸矫正和剪裁。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东工业大学,未经广东工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010075366.0/1.html,转载请声明来源钻瓜专利网。