[发明专利]可见光面部图像的多路信息融合及人工智能情绪监测方法

摘要

本申请提供一种可见光面部图像的多路信息融合及人工智能情绪监测方法，其中，本方法基于面部图像中预设特征点集群确定第一概率特征向量，同时利用卷积神经网络确定图像级的第二概率特征向量，进而结合图像序列间的时间信息生成情绪特征矩阵，此外，基于预设面部子区域图像以及相邻帧间光流图确定第三概率特征向量，对上述三个概率特征向量进行特征融合从而获取融合特征向量，最终基于上述三个概率特征向量、情绪特征矩阵和融合特征向量，确定监测个体的情绪状态分布。本申请利用上述三条分析通路处理面部视频，挖掘面部图像的空间及帧间时间特征，针对不同维度的特征进行全面分析及有效融合，保证高效分析的同时提高了情绪状态监测的精确度。

主权项

1.一种可见光面部图像的多路信息融合及人工智能情绪监测方法，其特征在于，包括：/n获取包含目标个体面部的待处理视频；所述待处理视频包括多帧视频图像；/n基于人脸检测器从待处理视频中提取目标个体的面部区域视频；所述面部区域视频包括多帧面部视频图像；/n针对面部区域视频中的每帧面部视频图像，基于人脸检测器定位该面部视频图像中的多个预设特征点中每个预设特征点，并基于每个预设特征点的位置确定该面部视频图像对应的第一概率特征向量；所述第一概率特征向量用于表征目标个体针对每种预设标准情绪的第一概率分布；/n针对面部区域视频中的每帧面部视频图像，将该面部视频图像输入第一卷积神经网络，利用所述第一卷积神经网络确定该面部视频图像对应的第二概率特征向量；所述第二概率特征向量用于表征目标个体针对每种预设标准情绪的第二概率分布；/n基于每帧面部视频图像对应的所有第二概率特征向量以及每帧图像对应的时间，生成目标个体的情绪特征矩阵；/n针对面部区域视频中的每帧面部视频图像，对该面部视频图像进行分割，分别得到每种预设面部子区域对应的图像；/n针对每种预设面部子区域，利用第二卷积神经网络和循环神经网络对该预设面部子区域对应的每帧图像进行处理，确定该预设面部子区域对应的第一图像时空特征信息；/n针对每种预设面部子区域，利用第三卷积神经网络对每相邻两帧图像形成的光流图进行处理，确定该预设面部子区域对应的多个第二时空特征信息；/n针对每种预设面部子区域，利用第一全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行处理，得到该预设面部子区域对应的目标特征信息；/n针对每种预设面部子区域，确定与该预设面部子区域对应的目标特征信息匹配的标准情绪信息；其中，每种预设面部子区域均分别预先设置有至少一种标准情绪信息；/n基于每种预设面部子区域对应的标准情绪信息，确定第三概率特征向量；所述第三概率特征向量用于表征目标个体针对每种预设标准情绪的第三概率分布；/n基于所有的第一概率特征向量、所有的第二概率特征向量、第三概率特征向量，确定融合特征向量，并基于所有的第一概率特征向量、所有的第二概率特征向量、第三概率特征向量、情绪特征矩阵和融合特征向量，确定目标个体的目标情绪信息。/n