[发明专利]一种基于表情情感计算的老年人健康监测方法及系统

权利要求书

1.一种基于表情情感计算的老年人健康监测方法，其特征在于，包括：

实时采集老年人的人脸图像；

将采集的人脸图像输入构建的基于表情情感计算的老年人健康监测模型，输出基于人脸图像的老年人生理健康信号和心理健康信号。

2.根据权利要求1所述的基于表情情感计算的老年人健康监测方法，其特征在于，所述基于表情情感计算的老年人健康监测模型，首先基于提出的区域导航多任务训练模块定位人脸图像的关键表情区域，联合训练人脸表情和人脸姿态，完成表情特征提取；再利用提取好的表情特征训练时空运动增强网络，完成多姿态和动态人脸表情识别；最后将得到的表情信息转化为生理健康信号和心理健康信号。

3.根据权利要求2所述的基于表情情感计算的老年人健康监测方法，其特征在于，基于提出的区域导航多任务训练模块定位人脸图像的关键表情区域，联合训练人脸表情和人脸姿态，完成表情特征提取，包括：

利用区域导航网络定位人脸表情关键区域，引入注意力机制使得姿态和表情信息丰富区域特征能够拥有高权重，突出关键区域的特征：

其中，F表示突出的关键区域的特征；α_i表示第i个可学习的注意力权重；f_i表示第i个人脸表情区域特征；n表示人脸表情区域特征数量；

利用多任务学习方法联合训练人脸表情和人脸姿态，完成表情特征提取。

4.根据权利要求3所述的基于表情情感计算的老年人健康监测方法，其特征在于，所述区域导航网络，与分类网络共享卷积层进行特征提取，使用锚点机制同时预测多个区域建议{R'₁,R'₂,...,R'_A}，每个锚点都与滑动窗口的位置，纵横比和框比例有关；找到表情信息量最丰富的区域，表情信息量最丰富的区域的信息满足：

for any R₁,R₂∈A,if C(R₁)C(R₂),I(R₁)I(R₂) (6)

其中，R₁,R₂为A个区域中的任意两个矩形区域，I表示矩形区域的表情信息量，C表示矩形区域为正确表情的概率；

为了使得最终的结果满足上述关系，从A个区域中选出M个区域，对于每个区域R_i∈A_M，区域导航网络都会评估其信息I，然后将区域R_i传输到区域导航网络中进行学习，计算区域R_i能正确分类表情的概率C；以优化区域导航网络使得{I(R₁),I(R₂),...,I(R_M)}和{C(R₁),C(R₂),...,C(R_M)}具有相同的顺序。

5.根据权利要求3所述的基于表情情感计算的老年人健康监测方法，其特征在于，所述时空运动增强网络是考虑时间尺度，对经过迁移学习训练后的残差神经网络进行改进得到的改进的残差神经网络；

所述时空运动增强网络，利用历史帧的外观和运动信息来去除当前帧的噪声部分，并补全当前帧中的运动丢失信息，增加当前帧的表情运动信息。

6.根据权利要求5所述的基于表情情感计算的老年人健康监测方法，其特征在于，所述时空运动增强网络基于经典的Resnet网络，包括一个卷积层、八个残差块，每个残差块有两个卷积层；分别为卷积层一、残差块一、残差块二、残差块三、残差块四、残差块五、残差块六、残差块七、残差块八，所述残差块一、残差块二、残差块三、残差块四、残差块五、残差块六、残差块七、残差块八均由两个级联的卷积层组成；所述时空运动增强网络还包括池化层一、池化层二和全连接层一。

7.根据权利要求6所述的基于表情情感计算的老年人健康监测方法，其特征在于，所述时空运动增强网络在全连接层一后进行Dropout操作，用于提高泛化能力。