[发明专利]一种基于色彩空间学习的人脸视频心率估计方法

权利要求书

1.一种基于色彩空间学习的人脸视频心率估计方法，其特征在于，具体步骤如下：

（1）通过摄像机拍摄人脸视频；

（2）构建用于人脸视频心率估计的神经网络；所述神经网络包含特征提取模块、色彩空间变换层和心率估计模块；所述特征提取模块采用多层皮肤区域选择方法提取人脸视频的特征图，所述色彩空间变换层通过学习得到，将提取的特征图映射到合适的色彩空间中，所述心率估计模块为估算心率的深度神经网络；具体过程如下：

（2.1）特征提取模块：通过人脸视频进行多层皮肤区域选择方法进行特征提取；对于一段长度为帧，色彩空间维度为的人脸视频，选择个脸部区域进行多层皮肤区域选择，个脸部区域生成个脸部区域的全组合，对每一个脸部区域组合单独进行池化，得到的特征图的大小是；

（2.2）色彩空间变换层：通过色彩空间变换层对特征图进行色彩空间的转换；所述色彩空间变换层是可学习的函数：

其中是原色彩空间的颜色表示，其色彩空间维度为，是使用个实数来表示颜色，是实数；为新色彩空间的颜色表示，色彩空间维度为；因此，特征提取模块提取出的特征图经过色彩空间变换层以后得到新色彩空间上的特征图为：

色彩空间变换层包含线性变换的色彩空间变换层和非线性变换的色彩空间变换层两种；其中，通过一个大小为的转换矩阵实现色彩空间的变换，而为了使该变换可学习，引入一层输入维度为、输出维度为的全连接层，该全连接层的参数即为上述的转换矩阵；通过该全连接层，色彩空间变换层在线性空间维度上寻找最合适的色彩空间；而是通过非线性变换得到的色彩空间，因此引入两层全连接层，并在其中加入了非线性的激活函数，使色彩空间变换层在非线性空间的维度上寻找最合适的色彩空间；

（2.3）心率估计模块：心率估计模块以ResNet-18 作为基础网络，在基础网络的输出加入一层全连接层，使用网络提取出的信息对心率进行回归，并在基础网络中加入了通道注意力模块，在训练的过程中调整对不同色彩通道的注意力，使心率估计模块选择对心率预测更佳有益的色彩通道，从而提高模型的预测性能；

（3）将步骤（1）获取的人脸视频输入到步骤（2）中构建并训练完成的用于人脸视频心率估计的神经网络中，通过特征提取模块提取人脸视频的特征图，通过色彩空间变换层映射到学习后的色彩空间中，最后通过心率估计模块得出估算的心率。