[发明专利]可见光面部图像的多路信息融合及人工智能情绪监测方法

权利要求书

1.一种可见光面部图像的多路信息融合及人工智能情绪监测方法，其特征在于，包括：

获取包含目标个体面部的待处理视频；所述待处理视频包括多帧视频图像；

基于人脸检测器从待处理视频中提取目标个体的面部区域视频；所述面部区域视频包括多帧面部视频图像；

针对面部区域视频中的每帧面部视频图像，基于人脸检测器定位该面部视频图像中的多个预设特征点中每个预设特征点，并基于每个预设特征点的位置确定该面部视频图像对应的第一概率特征向量；所述第一概率特征向量用于表征目标个体针对每种预设标准情绪的第一概率分布；

针对面部区域视频中的每帧面部视频图像，将该面部视频图像输入第一卷积神经网络，利用所述第一卷积神经网络确定该面部视频图像对应的第二概率特征向量；所述第二概率特征向量用于表征目标个体针对每种预设标准情绪的第二概率分布；

基于每帧面部视频图像对应的所有第二概率特征向量以及每帧图像对应的时间，生成目标个体的情绪特征矩阵；

针对面部区域视频中的每帧面部视频图像，对该面部视频图像进行分割，分别得到每种预设面部子区域对应的图像；

针对每种预设面部子区域，利用第二卷积神经网络和循环神经网络对该预设面部子区域对应的每帧图像进行处理，确定该预设面部子区域对应的第一图像时空特征信息；

针对每种预设面部子区域，利用第三卷积神经网络对每相邻两帧图像形成的光流图进行处理，确定该预设面部子区域对应的多个第二时空特征信息；

针对每种预设面部子区域，利用第一全连接网络对该预设面部子区域对应的第一图像时空特征信息和所有的第二图像时空特征信息进行处理，得到该预设面部子区域对应的目标特征信息；

针对每种预设面部子区域，确定与该预设面部子区域对应的目标特征信息匹配的标准情绪信息；其中，每种预设面部子区域均分别预先设置有至少一种标准情绪信息；

基于每种预设面部子区域对应的标准情绪信息，确定第三概率特征向量；所述第三概率特征向量用于表征目标个体针对每种预设标准情绪的第三概率分布；

基于所有的第一概率特征向量、所有的第二概率特征向量、第三概率特征向量，确定融合特征向量，并基于所有的第一概率特征向量、所有的第二概率特征向量、第三概率特征向量、情绪特征矩阵和融合特征向量，确定目标个体的目标情绪信息；

所述基于所有的第一概率特征向量、所有的第二概率特征向量、第三概率特征向量，确定融合特征向量，并基于所有的第一概率特征向量、所有的第二概率特征向量、第三概率特征向量、情绪特征矩阵和融合特征向量，确定目标个体的目标情绪信息，包括：

利用第二全连接网络，对所有的第一概率特征向量、所有的第二概率特征向量、第三概率特征向量进行处理，得到融合特征向量；

利用第一分类器对所述融合特征向量进行处理，得到第一初始情绪分类信息；

利用第三全连接网络对所有的第一概率特征向量进行处理，并利用第二分类器对处理后的向量进行处理，得到第二初始情绪分类信息；

利用第四全连接网络对所有的第二概率特征向量、情绪特征矩阵进行处理，并利用第三分类器对处理后的信息进行处理，得到第三初始情绪分类信息；

利用第五全连接网络对第三概率特征向量进行处理，并利用第四分类器对处理后的向量进行处理，得到第四初始情绪分类信息；

基于第一初始情绪分类信息、第二初始情绪分类信息、第三初始情绪分类信息、第四初始情绪分类信息，确定目标个体的目标情绪信息。

2.根据权利要求1所述的方法，其特征在于，所述基于每个预设特征点的位置确定该面部视频图像对应的第一概率特征向量，包括：

基于每两个预设特征点之间的位置，确定每两个预设特征点之间的距离和角度；

基于每个预设特征点的位置、每两个预设特征点之间的距离和每两个预设特征点之间的角度，确定该面部视频图像对应的第一概率特征向量。

3.根据权利要求1所述的方法，其特征在于，所述第一卷积神经网络为densenet网络结构的卷积神经网络。