[发明专利]一种基于色彩空间学习的人脸视频心率估计方法

说明书

本发明公开了一种基于色彩空间学习的人脸视频心率估计方法，首先获取人脸视频，然后构建用于人脸视频心率估计的神经网络；所述神经网络包含特征提取模块、色彩空间变换层和心率估计模块；所述特征提取模块采用多层皮肤区域选择方法提取人脸视频的特征图，所述色彩空间变换层通过学习得到，将提取的特征图映射到合适的色彩空间中，所述心率估计模块为估算心率的深度神经网络；最后将获取的人脸视频输入到构建并训练完成的用于人脸视频心率估计的神经网络中得出估算的心率。本发明首次使用色彩空间变换的方式进行人脸视频的心率估计，对比传统色彩空间降低了误差，提升了预测准确度。

技术领域

本发明涉及心率估计领域，尤其涉及一种基于色彩空间学习的人脸视频心率估计方法。

背景技术

使用人脸视频进行心率估计是非接触式光体积描记法（remotephotoplethysmography，rPPG）技术的一个重要应用。它通过对视频中脸部颜色的细微变化建模分析，估算出脸部的血液脉冲信号，从而预测出被测者的心率信息。

传统的 rPPG方法使用数学建模回归的方式，建立脸部视频与心率的映射关系。CHROM 方法使用基于色度的颜色处理方法提取脉冲信号，比基于 RGB色彩空间方法得到了更高的精度。POS方法使用皮肤平面正交（Plane-Orthogonal-to-Skin）的方法将脸部视频帧进行投影后提取脉冲信号。2SR方法使用了空间子空间旋转（Spatial SubspaceRotation）的方法进一步提升了 rPPG 方法的精度。

近年来，随着深度学习的发展，越来越多的使用神经网络进行心率估算的方法被提出。DeepPhys是第一个基于深度卷积网络的使用视频进行心率和呼吸速率估算的端到端方法。RhythmNet方法使用人脸视频构造了时空特征图，通过卷积神经网络来预测心率。

现有的使用人脸视频的心率估计方法需要提取人脸颜色的细微变化，因此对视频的光照非常敏感。为了选取更加合适的色彩空间以避免其他因素对心率估计的干扰，目前大多数的方法都在 YUV色彩空间上进行，并证明 YUV色彩空间比传统的 RGB色彩空间效果更佳，但无法证明 YUV色彩空间是最适合使用人脸视频的心率估计的色彩空间。

本发明提出了色彩空间学习的方法，创新性地在神经网络中加入了可学习的色彩空间变换层，将人脸视频映射到更适合的色彩空间上，从而达到更高的精度。同时使用了先进的注意力模块和多层皮肤区域选择方法，以充分提取人脸视频中的脉冲信号。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于色彩空间学习的人脸视频心率估计方法，该方法在神经网络中加入了可学习的色彩空间变换层，通过训练可以得到更加适合心率估计的色彩空间，解决了心率估计问题中色彩空间选择的问题。同时网络中加入了先进的注意力模块和多层皮肤区域选择方法，充分利用人脸视频提取脉冲信号，以提高方法的精度。

本发明的目的是通过以下技术方案来实现的：一种基于色彩空间学习的人脸视频心率估计方法，具体步骤如下：

（1）通过摄像机拍摄人脸视频；

（2）构建用于人脸视频心率估计的神经网络；所述神经网络包含特征提取模块、色彩空间变换层和心率估计模块；所述特征提取模块采用多层皮肤区域选择方法提取人脸视频的特征图，所述色彩空间变换层通过学习得到，将提取的特征图映射到合适的色彩空间中，所述心率估计模块为估算心率的深度神经网络；

（3）将步骤（1）获取的人脸视频输入到步骤（2）中构建并训练完成的用于人脸视频心率估计的神经网络中，通过特征提取模块提取人脸视频的特征图，通过色彩空间变换层映射到学习后的色彩空间中，最后通过心率估计模块得出估算的心率。

进一步地，步骤（2）中，所述多层皮肤区域选择方法具体为：对于一段长度为帧，色彩空间维度为的人脸视频，选择个脸部区域进行多层皮肤区域选择，个脸部区域生成个脸部区域的全组合，对每一个脸部区域组合单独进行池化，得到的特征图的大小是。