[发明专利]基于注意力机制的多特征户外环境情绪识别方法

权利要求书

1.基于注意力机制的多特征户外环境情绪识别方法，其特征在于，包括以下步骤：

获取被测人员的生理数据和在户外环境的图像；

采用Relief非线性特征提取算法提取被测人员的生理数据特征，采用Conv LSTM识别模型获得任一帧图像组对应的情绪等级标签；

任一帧图像组的图像进行预处理，并利用MTCNN网络进行人脸识别与定位；

利用Resnet模块提取任一帧图像组的图像的纹理特征，并将任一帧图像组的图像转换成一维向量，得到第一次输出向量；

利用Lenet5卷积网络对人脸识别与定位的图像进行特征粗提取，并利用VAE自编码器提取任一帧图像组的图像的生成特征，得到生成特征对应的第一特征向量；

将第一次输出向量与第一特征向量输入至全连接分类层，并添加分类层与真实标签的熵函数，得到情绪等级预测结果。

2.根据权利要求1所述的基于注意力机制的多特征户外环境情绪识别方法，其特征在于，采用Relief非线性特征提取算法提取被测人员的生理数据特征，包括以下步骤：

提取被测人员在户外环境的图像，并采用欧式距离算法求得同类和非同类的最近邻样本；

根据同类和不同类的最近邻样本，求得任一特征的平均权重，并选取分类辨识强的特征数据集；

构建生理信号异构数据集映射模型，并将特征数据集输入至生理信号异构数据集映射模型中，得到生理数据特征。

3.根据权利要求2所述的基于注意力机制的多特征户外环境情绪识别方法，其特征在于，所述生理信号异构数据集映射模型包括依次连接的流形缩减层、公共嵌入空间、切线投影层和迁移学习层；

所述流形缩减层的表达式为：

R_i(S_j)＝W_i·S_j·W_i^T

其中，R_i(S_j)表示流形缩减层的映射输出，W_i表示神经网络的权值矩阵；S_j表示协方差矩阵；W_i^T表示神经网络的权值矩阵的转置；

所述公共嵌入空间内，计算任意两个特征数据集的图像的概率分布，其表达式为：

其中，表示最大平均差异；sup表示最小上界限；表示公共嵌入空间的概率分布Q_i的期望；R_i(S)表示一个低维映射将i映射到低维SPD流形上的投影矩阵；表示公共嵌入空间的概率分布Q_j的期望；R_j(S)表示一个低维映射将j映射到低维SPD流形上的投影矩阵；表示概率分部；

所述切线投影层内，将流形缩减层和公共嵌入空间的矩阵投影到切线投影层的切线空间，其表达式为：

V₁,V₂＝trV₁·P^-1,V₂·P^-1

其中，V₁、V₂表示切线投影层的两个切线向量；P^-1表示公共嵌入空间上的矩阵P的逆矩阵；

所述迁移学习层内，采用迁移学习训练模型权重，对任一被测人员进行联合平均的特征图聚合，利用分类器聚合得出生理数据特征。

4.根据权利要求3所述的基于注意力机制的多特征户外环境情绪识别方法，其特征在于，所述迁移学习层内添加有Softmax层，其表达式为：

其中，表示针对输入变量的协方差序列S_i的预测输出；B(X)表示切线层的输出；FC表示全连接层；

在生理信号异构数据集映射模型添加有域损失L₁和情绪等级的分类损失L₂，其表达式为：

其中，m表示流形的总数量；K表示标签的总数；表示熵损失函数下指数分布参数；表示带标签的最大平均差异；表示带标签的第i个流形上的概率分布；表示带标签的第j个流形上的概率分布；L_C表示交叉熵损失函数，表示第i个样本的预测标签；Y表示第i个样本的预测结果。