[发明专利]一种基于高光谱人脸视频的远程脉搏波重建方法

权利要求书

1.一种基于高光谱人脸视频的远程脉搏波重建方法，其特征在于，包括以下步骤：

步骤一，利用高光谱相机录制人脸视频，利用血氧仪读取人右手指尖的脉搏波信号PPG；

步骤二，对血氧仪采集到的PPG信号进行下采样，与所述人脸视频频率保持一致，使每一帧视频都对应一个信号采样点；

步骤三，将录制好的高光谱人脸视频的每一帧图像送入光谱选择网络中，光谱选择网络利用通道注意力机制选择对输入的高光谱人脸图像进行降维筛选，输出降维后的特征图；

步骤四，将降维后的特征图输入至特征提取网络，得到提取后的特征向量，具体包括以下子步骤：

步骤4.1，预训练特征提取网络，具体为：采用组合数据集，包括同一个人的普通视频和红外视频，随机组合两种不同视频，如果是同一个人，则标签为1，反之则为0，利用交叉熵损失函数和梯度下降法来对特征提取网络进行预训练，训练次数为K次，训练结束保存特征提取网络模型参数；

步骤4.2，加载步骤4.1训练好的特征提取网络模型；

步骤4.3，将步骤三输出的降维后的特征图输入到训练好的特征提取网络，得到输出向量；

步骤 4.4，将步骤4.3得到的输出向量改变维度得到提取后的特征向量；

步骤五，对人脸视频的每一帧图像经过步骤三和步骤四操作，得到多维特征向量；

步骤六，将多维特征向量输入到信号重建网络，得到重建后的rPPG信号。

2.如权利要求1所述的一种基于高光谱人脸视频的远程脉搏波重建方法，其特征在于，所述步骤一，具体为：利用高光谱相机录制人脸视频，其中高光谱相机的波段为400nm-1000nm，一共有S个波段，采集帧率为M赫兹，分辨率为W*H；同时，利用血氧仪读取人右手指尖的脉搏波信号PPG，采样频率为N赫兹；所述视频和信号的采集周期为T 秒。

3.如权利要求2所述的一种基于高光谱人脸视频的远程脉搏波重建方法，其特征在于，所述步骤二，具体为：对血氧仪采集到的PPG信号进行下采样，将频率从N赫兹降为 M 赫兹，和视频频率保持一致，使得每一帧视频都可以对应一个信号采样点，采样后视频的帧数为T*M，血氧仪的采样点数也为T*M。

4.如权利要求1所述的一种基于高光谱人脸视频的远程脉搏波重建方法，其特征在于，所述步骤六，包括以下步骤：

步骤6.1，预训练信号重建网络；

步骤6.2， 加载训练好的信号重建网络模型；

步骤6.3，在对视频中所有帧进行步骤一至四的处理后，将得到的全部特征向量，按照时间顺序输入到信号重建网络中，利用多层LSTM提取到网络的时序特征并以此对PPG信号进行重建，得到重建后的rPPG信号。

5.如权利要求4所述的一种基于高光谱人脸视频的远程脉搏波重建方法，其特征在于，所述步骤6.1，具体为：利用损失函数为MSE和梯度下降法，通过合成数据集对信号重建网络进行预训练，训练结束后，保存训练好的当前参数为模型参数，所述合成数据集表达式为：

其中，t为时间段，为模拟心率频率，为模拟呼吸频率，，为模拟心率信号与模拟呼吸信号的相位，和分别为模拟心率和模拟呼吸强度，step()为阶跃信号，t₁和t₂分别为阶跃信号的阈值，noise₁（）和noise₂（）分别为不同均值和标准差的高斯信号作为噪声；所述合成数据集对应的标签为通过模拟心率频率所计算出的心率。