[发明专利]心率检测方法、系统、终端设备及存储介质

说明书

本发明公开了一种心率检测方法、系统、终端设备及存储介质，所述方法包括获取面部视频帧序列，提取面部视频帧序列中的人脸序列；将人脸序列中的人脸区域从RGB颜色空间转换到YUV颜色空间；将转换后的人脸区域的视频帧序列转变为时空特征图，利用深度神经网络模型提取时空特征图的第一特征，及利用POS模型提取转换前的人脸区域的第二特征；将第一特征与第二特征进行拼接，利用心率预测网络提取拼接特征中的心率值。本发明集成了ResNet‑18网络和POS模型的优点，并融合了多视角特征，因此能够增强深度模型在不同应用场景的鲁棒性，解决了复杂场景下传统模型性能不佳或跨场景性能大幅下降的问题。

技术领域

本发明涉及心率检测技术领域，具体涉及一种心率检测方法、系统、终端设备及存储介质。

背景技术

人体心率检测技术在人体健康状况监测等领域有着巨大的应用价值。传统的基于面部视频的非接触式的心率检测技术一般是基于盲源分离技术或者基于色差分离模型，但这些技术比较依赖于手工特征设计和预设的信号处理方法，难以应对光照条件差、测试者运动幅度较大的场景，局限性强。

随着深度学习的发展，深度神经网络凭借其在复杂场景下出色的适应能力，在心率检测领域也有了广泛应用。例如，现有技术通过对包含人面部的视频帧图像进行人脸检测，并提取时间维度上的人脸图像序列以及面部关键位置点，得到时间维度上面部总体信号和面部roi信号集合，然后利用基于LSTM和残差卷积神经网络模型构建的多模态心率检测模型预测心率值。但是这种方式需要训练和测试场景基本不变，即光源保持稳定。而在实际应用中，部署好的模型往往要面对来源复杂、场景多样的面部视频，这会导致模型迁移到与训练数据差异较大的应用场景时，性能会大大下降，提取出的特征会含有较多噪声，进而导致心率检测的准确率大幅下降。

发明内容

本发明的目的在于提供一种心率检测方法、系统、终端设备及存储介质，以解决现有基于深度神经网络的心率检测方法中存在的局限性强、适用场景单一、心率检测的准确率较低的技术问题。

为了克服上述现有技术中的缺陷，本发明提供了一种心率检测方法，包括：

获取面部视频帧序列，提取所述面部视频帧序列中的人脸序列；

将人脸序列中的人脸区域从RGB颜色空间转换到YUV颜色空间；

将转换后的人脸区域的视频帧序列转变为时空特征图，利用深度神经网络模型提取时空特征图的第一特征，及利用POS模型提取转换前的人脸区域的第二特征；

将所述第一特征与所述第二特征进行拼接，利用心率预测网络提取拼接特征中的心率值。

进一步地，所述获取面部视频帧序列，提取所述面部视频帧序列中的人脸序列，包括：

利用YOLOv3模型对面部视频的每一帧进行人脸检测，得到至少一个包含人脸区域的矩形框及矩形框的置信度；

获取置信度最高的矩形框的对角所截取的人脸区域，对截取的人脸区域进行组合，得到人脸序列。

进一步地，所述将转换后的人脸区域的视频帧序列转变为时空特征图，包括：

将转换后的人脸区域分块，得到多个子区域；

根据所述子区域，分别取YUV颜色空间中三个颜色通道的平均值，组合得到子区域向量；

将多个子区域向量按划分顺序进行拼接，得到空间特征矩阵；

将每一帧的空间特征矩阵按时间顺序进行拼接，得到时空特征图。

进一步地，所述深度神经网络模型为ResNet-18模型。

进一步地，所述利用POS模型提取转换前的人脸区域的第二特征，包括：