[发明专利]具有跨媒体信息融合功能的非接触式情绪监测方法有效
申请号: | 201910823150.5 | 申请日: | 2019-09-02 |
公开(公告)号: | CN110755092B | 公开(公告)日: | 2022-04-12 |
发明(设计)人: | 李莹辉;丁帅;曲丽娜;杨善林;卢亮;孙晓;陶靖;俞尧 | 申请(专利权)人: | 中国航天员科研训练中心;合肥工业大学 |
主分类号: | A61B5/16 | 分类号: | A61B5/16;G06K9/62;G06V40/16;G06V10/80 |
代理公司: | 北京久诚知识产权代理事务所(特殊普通合伙) 11542 | 代理人: | 余罡 |
地址: | 100094*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 具有 媒体 信息 融合 功能 接触 情绪 监测 方法 | ||
本申请提供一种具有跨媒体信息融合功能的非接触式情绪监测方法,其中,本方法基于包括监测目标个体面部可见光视频、面部红外热图视频、音频数据在内的非接触式数据,分别确定第一情绪特征向量矩阵、第二情绪特征向量矩阵和第三情绪特征向量矩阵,之后利用可调节的多模态特征融合机制对上述三个情绪特征向量矩阵进行降维和特征提取,从而得到共享模态矩阵和私有模态矩阵,最后基于得到的模态矩阵确定监测目标个体对于每种预设情绪状态的概率分布。上述方案不仅全面增加了用于分析情绪状态的监测数据类型,将多种类型的监测数据进行跨媒体融合,并且能够充分利用有效数据分析情绪状态,在有效提高情绪状态监测准确度的同时增进分析效率。
技术领域
本申请涉及心理和数据处理领域,具体涉及一种具有跨媒体信息融合功能的非接触式情绪监测方法。
背景技术
情绪,是对一系列主观认知经验的通称,是多种感觉、思想和行为综合产生的心理和生理状态。最普遍、通俗的情绪有喜、怒、哀、惊、恐、爱等,也有一些细腻微妙的情绪,例如嫉妒、惭愧、羞耻、自豪等。情绪常和心情、性格、脾气、目的等因素互相作用,也受到荷尔蒙和神经递质影响。无论正面还是负面的情绪,都是引发人们行动的动机。尽管一些情绪引发的行为看上去没有经过思考,但实际上意识是产生情绪重要的一环。可见关注个体的情绪特征对于进行情绪引导和人们的安全能够起到非常重要的作用。
目前,分析个体的情绪特征的技术方案中,使用的数据类型单一,不同类型的数据无法有效结合,并且一些无效的数据可能会被多次利用,导致确定的个体的情绪特征不够准确,效率低下。
发明内容
(一)解决的技术问题
针对现有技术的不足,本申请提供了一种具有跨媒体信息融合功能的非接触式情绪监测方法,解决了现有技术中用来分析情绪特征的数据类型单一、无法有效结合不同类型的数据来分析目标个体的情绪的缺陷,提高了确定的情绪特征的准确度,提高了确定情绪特征的效率。
(二)技术方案
为实现以上目的,本申请通过以下技术方案予以实现:
本申请提供了一种具有跨媒体信息融合功能的非接触式情绪监测方法,包括:
获取目标个体的面部可见光图像、目标个体的面部红外图像、目标个体的音频信息;
获取面部可见光图相中多个预定特征点的图像特征信息,和多个预定面部区域的图像特征信息,并基于所述多个预定特征点的图像特征信息和多个预定面部区域的图像特征信息,确定目标个体的第一情绪特征向量矩阵;
对所述音频信息依次进行预加重处理、分帧处理、加窗处理,并将处理后的音频信息输入LSTM中,利用LSTM提取输入的音频信息的的MFCC特征和LPCC特征,并基于所述MFCC特征和LPCC特征生成目标个体的第二情绪特征向量矩阵;
基于所述面部红外图像,确定目标个体的额头部位的平均温度信息,基于所述平均温度信息,确定血液灌注值;利用python中的opencv模块对血液灌注值进行处理,得到血液灌注伪彩色图,并利用双向GRU神经网络提取血液灌注伪彩色图中的图像特征,得到目标个体的第三情绪特征向量矩阵;
利用结构化稀疏投影矩阵U1和U2对第一情绪特征向量矩阵进行处理,得到第一情绪特征向量矩阵对应的第一私有模态矩阵、第一情绪特征向量矩阵对应的第一共享模态矩阵;
利用结构化稀疏投影矩阵U1和U2对第二情绪特征向量矩阵进行处理,得到第二情绪特征向量矩阵对应的第二私有模态矩阵、第二情绪特征向量矩阵对应的第二共享模态矩阵;
利用结构化稀疏投影矩阵U1和U2对第三情绪特征向量矩阵进行处理,得到第三情绪特征向量矩阵对应的第三私有模态矩阵、第三情绪特征向量矩阵对应的第三共享模态矩阵;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国航天员科研训练中心;合肥工业大学,未经中国航天员科研训练中心;合肥工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910823150.5/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种个人心理健康监测系统及方法
- 下一篇:一种驾驶员疲劳检测装置
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置