[发明专利]一种基于高光谱人脸视频的远程脉搏波重建方法

说明书

本发明属于非接触式生理信号检测领域，涉及一种基于高光谱人脸视频的远程脉搏波重建方法，首先利用高光谱相机录制人脸视频，将录制好的人脸视频输入到光谱通道选择网络中，经过处理得到降维之后的特征；进一步的，将上一步得到的降维之后的特征输入进特征提取网络，输出为一段特征向量，最终将特征向量输入到信号重建网络中，得到重建的脉搏波信号。本发明通过光谱通道选择网络对大量的高光谱数据进行降维，提高了之后的推理速度；其次，在特征提取网络中，通过在组合数据集上的预训练加速了模型的收敛，并且通过注意力机制提高了网络对重要特征的关注程度；最后，在信号重建网络中，利用多层LSTM提取到网络的时序特征并以此对信号进行重建。

技术领域

本发明涉及非接触式生理信号检测领域，尤其涉及一种基于高光谱人脸视频的远程脉搏波重建方法。

背景技术

光电容积脉搏波信号是由于血液和其他组织成分对不同频段的光吸收程度不同，且血液本身在血管中的血液容积量会随着心脏的搏动而发生变化，因此在心脏收缩和舒张的过程中，血液对光的吸收量也会随心脏收缩呈现出周期性的脉搏波动，这种波动反应在视频传感器所接受到的信号变化即为PPG信号。通过摄像头采集到的人脸视频可以通过对每帧图像进行像素计算，将每一帧计算出来的数值合成为一段信号，这就是原始的远程脉搏波信号，即rPPG。

高光谱图像是对图像在不同光谱波段的细致分割，通过区分不同的波段，得到不同的光谱通道，高光谱图像的理论依据是地球上每种元素及其化合物的光谱特性都不一样，可以以此在特殊的波段进行区分；

通过传统的R，G，B图像组成的视频来获取的原始rPPG信号噪声较大，这种噪声主要是来自图像采集设备，而高光谱图像可以选择合适的波段来减少外界噪声的干扰，但是高光谱图像的应用存在数据量较大从而造成推理速度较慢而无法实际应用的问题。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种基于高光谱人脸视频的远程脉搏波重建方法，旨在通过深度学习的方法高效的从高光谱视频中对rPPG信号重建，其具体技术方案如下：

一种基于高光谱人脸视频的远程脉搏波重建方法，包括以下步骤：

步骤一，利用高光谱相机录制人脸视频，利用血氧仪读取人右手指尖的脉搏波信号PPG；

步骤二，对血氧仪采集到的PPG信号进行下采样，与所述人脸视频频率保持一致，使每一帧视频都对应一个信号采样点；

步骤三，将录制好的高光谱人脸视频的每一帧图像送入光谱选择网络中，光谱选择网络利用通道注意力机制选择对输入的高光谱人脸图像进行降维筛选，输出降维后的特征图；

步骤四，将降维后的特征图输入至特征提取网络，得到提取后的特征向量；

步骤五，对人脸视频的每一帧图像经过步骤三和步骤四操作，得到多维特征向量；

步骤六，将多维特征向量输入到信号重建网络，得到重建后的rPPG信号。

进一步的，所述步骤一，具体为：利用高光谱相机录制人脸视频，其中高光谱相机的波段为400nm-1000nm，一共有S个波段，采集帧率为M赫兹，分辨率为W*H；同时，利用血氧仪读取人右手指尖的脉搏波信号PPG，采样频率为N赫兹；所述视频和信号的采集周期为T秒。

进一步的，所述步骤二，具体为：对血氧仪采集到的PPG信号进行下采样，将频率从N赫兹降为 M 赫兹，和视频频率保持一致，使得每一帧视频都可以对应一个信号采样点，采样后视频的帧数为T*M，血氧仪的采样点数也为T*M。

进一步的，所述步骤四，包括以下步骤：

步骤4.1，预训练特征提取网络；

步骤4.2，加载步骤4.1训练好的特征提取网络模型；