[发明专利]基于Transformer的非接触式心率测量方法

说明书

本发明机器视觉、数据识别领域，具体涉及了一种基于Transformer的非接触式心率测量方法、系统及设备，旨在解决现有的对人脸心率测试中测量结果精度低、计算成本高的问题。本发明包括：获取设定时间段内包含人脸信息的待测视频帧序列；基于所述待测视频帧序列，通过人脸关键点模型获取人脸感兴趣区域图像序列；对所述人脸感兴趣区域图像序列进行预处理，并基于预处理后的所述人脸感兴趣区域图像序列，通过训练好的端到端Transformer模型获取设定时间段内的心率序列。本发明提高现有技术中对人脸心率测试的测量结果的精度，并降低计算成本。

技术领域

本发明属于机器视觉、数据识别领域，具体涉及了一种基于Transformer的非接触式心率测量方法、系统及设备。

背景技术

Transformer网络结构在自然语言领域已经处于统治地位，在很多任务上超出了其他的方法，如机器翻译、文本生成等。如今越来越多的研究人员正在尝试将 Transformer模型强大的建模能力应用到计算机视觉领域。

心率在很多场合是需要被测量的一个重要指标，特别是在健康领域。传统的设备中，监测心跳速率和心脏活动是由测量电生理讯号与心电图或者是光体积变化描记图法完成，电生理讯号与心电图需要将电极连接到身体来测量，接触式的设备让被测试的人感觉不舒服，特别是对于疫情期间远程医疗的猛增，最近几年通过人脸测心率的技术获得了工业界和学术界广泛的研究。首先解释为什么可以通过摄像头来测量人的心率：皮肤的光吸收会随着血容量脉冲周期性变化，真皮和皮下层微血管中的诸如血红蛋白之类的染色体吸收了不成比例的光，因此当血液通过下面的静脉和动脉泵出时，颜色会发生微小变化。虽然人眼看不见，但嵌入可穿戴设备中的RGB传感器可以轻松捕获，这是通过人脸获取心率的理论依据。

在早期的远程心率测量研究中，许多传统的方法通过两个阶段完成这个任务，首先从检测或者跟踪到的人脸关键区域中获取rPPG的信号，然后从频域中分析得到心率值。一方面，一些传统方法分析脸部区域的微妙的颜色变化用以做心率测量：Verkrussysse首先发现rPPG信号可以使用从自然光下抽取的绿色通道得到心率信号；Poh使用独立成分分析去除噪声；Li提出一种跟踪定义好的人脸关键区域的方法通过光线较正和非刚体的运动消除来做粗rPPG信号的恢复；Tulyakov提出自适应矩阵分解的方法做心率估计。另一方面，CHROM和POS使用颜色子空间变换的方法用来做皮肤像素的心率测量。

基于一些传统方法的先验知识，通过人脸测心率这个任务被设计成非端到端的方式。通过传统的CHROM方法抽取了rPPG信号，对于获取到的rPPG信号，经过时域滤波、主成分分析、信号选择、心率估计然后得到心率值。

近年来，一些基于深度学习的非端到端的通过人脸测试心率的方法发展起来，Spetik提出一个两阶段的方法，首先通过一个二维的卷积神经网络获取rPPG信号，然后通过另外的一维卷积神经网络回归得到心率值。也有一些端到端的通过人脸测心率的方法最近被提出来，Niu在RhythmNet提出一种端到端的方法。比如输入人脸视频帧序列，直接得到人脸的实时心率或者是一段时间内（比如10s）心率的平均值。

深度学习是近年来机器学习领域一个热门研究方向，已经在计算机视觉、自然语言处理等领域获得了巨大的成功。现有的通过人脸测试心率的方法尚有以下不足：首先，现有的数据集不足够大，这样我们只能采用浅层神经网络，学习的模型比较容易过拟合；其次，在时空序列的所有的3D特征图上应用注意力是计算昂贵的；最后，不同的损失函数对结果影响也比较大。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的对人脸心率测试中测量结果精度低、计算成本高的问题，本发明提供了一种基于Transformer的非接触式心率测量方法，该方法包括以下步骤：

步骤S10，获取设定时间段内包含人脸信息的待测视频帧序列；

步骤S20，基于所述待测视频帧序列，通过人脸关键点模型获取人脸感兴趣区域图像序列；