[发明专利]基于Transformer的非接触式呼吸率测量方法

权利要求书

1.一种基于Transformer的非接触式呼吸率测量方法，其特征在于，该方法包括：

步骤S100，获取设定时间段内包含人脸信息的待测视频帧序列；

步骤S200，基于所述待测视频帧序列，通过人脸检测模型和人脸关键点模型获取人脸感兴趣区域图像序列；

步骤S300，基于所述人脸感兴趣区域图像序列，通过训练好的端到端Transformer模型获取设定时间段内的呼吸率序列；

其中，所述端到端Transformer模型基于顺次连接的预处理模块、一阶特征提取模块、二阶特征提取模块、三阶特征提取模块和四阶特征提取模块和全连接层构建；

所述预处理模块，用于对输入的待测视频帧序列进行切块操作；

所述一阶特征提取模块基于线性映射模块、Swin Transformer Block模块构建；所述线性映射模块，用于将切块后的待测视频帧序列映射至设定维度；

所述Swin Transformer Block模块包括第一子模块、第二子模块；

所述第一子模块基于顺次连接的归一化层、第一注意力层、归一化层、多层感知机构建；所述第二子模块基于顺次连接的归一化层、第二注意力层、归一化层、多层感知机构建；所述第一注意力层为窗口多头注意力层；所述第二注意力层为移位窗口多头注意力层；

所述二阶特征提取模块、所述三阶特征提取模块和所述四阶特征提取模块均基于块融合模块、Swin Transformer Block模块构建；

所述块融合模块，用于依次对输入的特征进行下采样，串联、归一化、线性映射处理。

2.根据权利要求1所述的基于Transformer的非接触式呼吸率测量方法，其特征在于，步骤S200与步骤S300之间还包括样本扩增步骤：

基于所述人脸感兴趣区域图像序列，通过裁剪和仿射变换的方法获取不同尺度的人脸图片集；

基于所述不同尺度人脸图片集，通过部分区域擦除和左右翻转的方法进行样本扩增获得扩增人脸图片集，并将扩增人脸图片集按时间排序生成扩增的人脸感兴趣区域图像序列。

3.根据权利要求1所述的基于Transformer的非接触式呼吸率测量方法，其特征在于，所述窗口多头注意力层的每个窗口内的query与窗口内的key值进行注意力计算，不与特征图内全部的key值进行计算。

4.根据权利要求1所述的基于Transformer的非接触式呼吸率测量方法，其特征在于，所述移位窗口多头注意力层中的多头注意力在进行注意力机制的计算时，先对原始的特征块依次进行切块、移位、拼接处理，再进行特征块与特征块之间注意力机制的计算。

5.根据权利要求1所述的基于Transformer的非接触式呼吸率测量方法，其特征在于，所述端到端Transformer模型，其训练方法为：

步骤A100，获取训练视频帧序列；基于所述训练视频帧序列，通过人脸检测模型和人脸关键点模型获取人脸感兴趣区域图像序列；将训练视频帧序列所对应的人脸感兴趣区域图像序列及其标准呼吸率序列作为训练样本，构建训练样本集；

步骤A200，将训练样本集中的人脸感兴趣区域图像序列进行预处理；所述预处理为基于所述人脸感兴趣区域图像序列，按时间顺序均匀采样F张图像作为待处理采样帧；

步骤A300，将所述待处理采样帧输入所述端到端Transformer模型，得到预测的设定时间段内的呼吸率序列；

步骤A400，基于端到端Transformer模型预测的设定时间段内的呼吸率序列、标准呼吸率序列，计算损失值，并调整所述端到端Transformer模型参数；

步骤A500，循环执行步骤A200-步骤A400，直至得到训练好的端到端Transformer模型。