[发明专利]可见光面部图像的多路信息融合及人工智能情绪监测方法

说明书

本申请提供一种可见光面部图像的多路信息融合及人工智能情绪监测方法，其中，本方法基于面部图像中预设特征点集群确定第一概率特征向量，同时利用卷积神经网络确定图像级的第二概率特征向量，进而结合图像序列间的时间信息生成情绪特征矩阵，此外，基于预设面部子区域图像以及相邻帧间光流图确定第三概率特征向量，对上述三个概率特征向量进行特征融合从而获取融合特征向量，最终基于上述三个概率特征向量、情绪特征矩阵和融合特征向量，确定监测个体的情绪状态分布。本申请利用上述三条分析通路处理面部视频，挖掘面部图像的空间及帧间时间特征，针对不同维度的特征进行全面分析及有效融合，保证高效分析的同时提高了情绪状态监测的精确度。

技术领域

本申请涉及心理和数据处理领域，具体涉及一种可见光面部图像的多路信息融合及人工智能情绪监测方法。

背景技术

情绪，是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态。最普遍、通俗的情绪有喜、怒、哀、惊、恐、爱等，也有一些细腻微妙的情绪，例如嫉妒、惭愧、羞耻、自豪等。情绪常和心情、性格、脾气、目的等因素互相作用，也受到荷尔蒙和神经递质影响。无论正面还是负面的情绪，都是引发人们行动的动机。尽管一些情绪引发的行为看上去没有经过思考，但实际上意识是产生情绪重要的一环。可见关注个体的情绪特征对于进行情绪引导和人们的安全能够起到非常重要的作用。

目前，分析个体的情绪特征的技术方案中，都是从不同的角度分析，无法将从各个角度确定的情绪特征有效融合，并且会忽略面部微特征等信息对情绪产生的影响，造成确定的情绪特征准确度低。

发明内容

(一)解决的技术问题

针对现有技术的不足，本申请提供了一种可见光面部图像的多路信息融合及人工智能情绪监测方法，解决了现有技术中无法有效融合各个角度确定的情绪特征的缺陷，提高了确定的情绪特征的准确度。

(二)技术方案

为实现以上目的，本申请通过以下技术方案予以实现：

本申请提供了一种可见光面部图像的多路信息融合及人工智能情绪监测方法，包括：

获取包含目标个体面部的待处理视频；所述待处理视频包括多帧视频图像；

基于人脸检测器从待处理视频中提取目标个体的面部区域视频；所述面部区域视频包括多帧面部视频图像；

针对面部区域视频中的每帧面部视频图像，基于人脸检测器定位该面部视频图像中的多个预设特征点中每个预设特征点，并基于每个预设特征点的位置确定该面部视频图像对应的第一概率特征向量；所述第一概率特征向量用于表征目标个体针对每种预设标准情绪的第一概率分布；

针对面部区域视频中的每帧面部视频图像，将该面部视频图像输入第一卷积神经网络，利用所述第一卷积神经网络确定该面部视频图像对应的第二概率特征向量；所述第二概率特征向量用于表征目标个体针对每种预设标准情绪的第二概率分布；

基于每帧面部视频图像对应的所有第二概率特征向量以及每帧图像对应的时间，生成目标个体的情绪特征矩阵；

针对面部区域视频中的每帧面部视频图像，对该面部视频图像进行分割，分别得到每种预设面部子区域对应的图像；

针对每种预设面部子区域，利用第二卷积神经网络和循环神经网络对该预设面部子区域对应的每帧图像进行处理，确定该预设面部子区域对应的第一图像时空特征信息；

针对每种预设面部子区域，利用第三卷积神经网络对每相邻两帧图像形成的光流图进行处理，确定该预设面部子区域对应的多个第二时空特征信息；

针对每种预设面部子区域，利用第一全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行处理，得到该预设面部子区域对应的目标特征信息；