[发明专利]具有跨媒体信息融合功能的非接触式情绪监测方法有效

专利信息
申请号: 201910823150.5 申请日: 2019-09-02
公开(公告)号: CN110755092B 公开(公告)日: 2022-04-12
发明(设计)人: 李莹辉;丁帅;曲丽娜;杨善林;卢亮;孙晓;陶靖;俞尧 申请(专利权)人: 中国航天员科研训练中心;合肥工业大学
主分类号: A61B5/16 分类号: A61B5/16;G06K9/62;G06V40/16;G06V10/80
代理公司: 北京久诚知识产权代理事务所(特殊普通合伙) 11542 代理人: 余罡
地址: 100094*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 具有 媒体 信息 融合 功能 接触 情绪 监测 方法
【说明书】:

本申请提供一种具有跨媒体信息融合功能的非接触式情绪监测方法,其中,本方法基于包括监测目标个体面部可见光视频、面部红外热图视频、音频数据在内的非接触式数据,分别确定第一情绪特征向量矩阵、第二情绪特征向量矩阵和第三情绪特征向量矩阵,之后利用可调节的多模态特征融合机制对上述三个情绪特征向量矩阵进行降维和特征提取,从而得到共享模态矩阵和私有模态矩阵,最后基于得到的模态矩阵确定监测目标个体对于每种预设情绪状态的概率分布。上述方案不仅全面增加了用于分析情绪状态的监测数据类型,将多种类型的监测数据进行跨媒体融合,并且能够充分利用有效数据分析情绪状态,在有效提高情绪状态监测准确度的同时增进分析效率。

技术领域

本申请涉及心理和数据处理领域,具体涉及一种具有跨媒体信息融合功能的非接触式情绪监测方法。

背景技术

情绪,是对一系列主观认知经验的通称,是多种感觉、思想和行为综合产生的心理和生理状态。最普遍、通俗的情绪有喜、怒、哀、惊、恐、爱等,也有一些细腻微妙的情绪,例如嫉妒、惭愧、羞耻、自豪等。情绪常和心情、性格、脾气、目的等因素互相作用,也受到荷尔蒙和神经递质影响。无论正面还是负面的情绪,都是引发人们行动的动机。尽管一些情绪引发的行为看上去没有经过思考,但实际上意识是产生情绪重要的一环。可见关注个体的情绪特征对于进行情绪引导和人们的安全能够起到非常重要的作用。

目前,分析个体的情绪特征的技术方案中,使用的数据类型单一,不同类型的数据无法有效结合,并且一些无效的数据可能会被多次利用,导致确定的个体的情绪特征不够准确,效率低下。

发明内容

(一)解决的技术问题

针对现有技术的不足,本申请提供了一种具有跨媒体信息融合功能的非接触式情绪监测方法,解决了现有技术中用来分析情绪特征的数据类型单一、无法有效结合不同类型的数据来分析目标个体的情绪的缺陷,提高了确定的情绪特征的准确度,提高了确定情绪特征的效率。

(二)技术方案

为实现以上目的,本申请通过以下技术方案予以实现:

本申请提供了一种具有跨媒体信息融合功能的非接触式情绪监测方法,包括:

获取目标个体的面部可见光图像、目标个体的面部红外图像、目标个体的音频信息;

获取面部可见光图相中多个预定特征点的图像特征信息,和多个预定面部区域的图像特征信息,并基于所述多个预定特征点的图像特征信息和多个预定面部区域的图像特征信息,确定目标个体的第一情绪特征向量矩阵;

对所述音频信息依次进行预加重处理、分帧处理、加窗处理,并将处理后的音频信息输入LSTM中,利用LSTM提取输入的音频信息的的MFCC特征和LPCC特征,并基于所述MFCC特征和LPCC特征生成目标个体的第二情绪特征向量矩阵;

基于所述面部红外图像,确定目标个体的额头部位的平均温度信息,基于所述平均温度信息,确定血液灌注值;利用python中的opencv模块对血液灌注值进行处理,得到血液灌注伪彩色图,并利用双向GRU神经网络提取血液灌注伪彩色图中的图像特征,得到目标个体的第三情绪特征向量矩阵;

利用结构化稀疏投影矩阵U1和U2对第一情绪特征向量矩阵进行处理,得到第一情绪特征向量矩阵对应的第一私有模态矩阵、第一情绪特征向量矩阵对应的第一共享模态矩阵;

利用结构化稀疏投影矩阵U1和U2对第二情绪特征向量矩阵进行处理,得到第二情绪特征向量矩阵对应的第二私有模态矩阵、第二情绪特征向量矩阵对应的第二共享模态矩阵;

利用结构化稀疏投影矩阵U1和U2对第三情绪特征向量矩阵进行处理,得到第三情绪特征向量矩阵对应的第三私有模态矩阵、第三情绪特征向量矩阵对应的第三共享模态矩阵;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国航天员科研训练中心;合肥工业大学,未经中国航天员科研训练中心;合肥工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910823150.5/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top