[发明专利]一种基于自监督和终身学习的非接触式多模态生理信号检测方法

说明书

本发明提出了一种基于自监督和终身学习的非接触式多模态生理信号检测方法。该方法使用基于知识蒸馏的自监督学习策略，充分利用了信号的自相似性先验，在完全不使用监督标签的情况下与同时期的监督模型相比鲁棒性更强，解决了监督标签带来的波形形状、不确定性时延的影响以及标注成本高导致训练数据集规模小的问题。通过下游任务的微调，能够实现心率、心率变异性，疲劳度等高置信度多模态生理信号输出。本发明提出的方法通过使用PC(Personal Computer，个人计算机)端基于自监督预训练与边缘计算平台基于终身学习微调相结合的分布式策略，充分均衡了边缘计算平台的算力，将用户在线输入的数据视为第二任务，基于终身学习算法提高模型在预训练离线大数据集和用户在线输入小数据集上的多任务性能。通过无标签终身学习微调能够让模型快速适应不同用户输入，针对不同环境提高模型的抗噪性能，实现了对不同用户非接触式多模态生理信号检测精度的进一步提升。

技术领域

本发明涉及非接触式多模态生理信号检测领域，特别是涉及基于自监督和终身学习的非接触式多模态生理信号检测方法。

背景技术

传统接触式生理信号测量系统，如：ECG(Electrocardiogram，心电)、EEG(Electroencephalogram，脑电)等，存在硬件设备依赖、侵入式检测引起患者不适等诸多问题。而绝大多数生理信号，如HR(Heart Rate，心率)、HRV(Heart Rate Variability，心率变异性)、疲劳度等，往往需要进行长期观测，短时记录对患者健康状态的评估具有极大的误差。因此如何在长期观测的同时不断提高模型输出置信度，具有一定的研究价值和应用前景。

本发明从测量人体心脏活动这一重要生理信号角度出发，通过摄像头实时采集人脸视频，经深度学习算法提取远程光电体积描记术(Remote Photoplethysmography，简称rPPG)信号，最终计算输出受试者心率、心率变异性、疲劳度等指标，实现生理信号的非接触式测量。传统rPPG信号提取技术往往依赖特定模型对信号进行建模，通过对原始输入的红、绿、蓝三通道像素进行分析，或是使用ICA(Independent Component Analysis，独立成分分析)、PCA(Principal Component Analysis，主成分分析)等算法对输入信号进行盲源分离实现rPPG信号的恢复和心率指标的计算。基于传统算法的生理信号检测技术具有很大的局限性，理想模型很难满足现实世界真实场景，使得算法抗噪声差，难以部署应用。

近年来，随着深度学习的兴起，生理信号检测算法也进入了新的发展阶段。深度学习模型对先验知识依赖低，通过对大数据进行分析学习，实现了更加鲁棒的生理信号提取，使得非接触式生理信号测量有希望走向落地应用。目前基于神经网络算法的有监督rPPG信号提取技术可以分为两类。其一是非端到端的神经网络设计，如RhythmNet、CVD、Dual-GAN等。非端到端模型的输入不是原始视频信号，而是某种人工设计的特征，本质上仍是基于某种弱先验对视频信号进行手动降噪，虽然在特定场景往往能取得比端到端模型更好的性能，但仍受到先验知识的局限性。另一类是端到端的神经网络设计，如DeepPhys、PhysNet、PhysFormer等，从原始视频输入到生理信号输出，整个过程完全依赖于网络模型进行学习，因此往往更具鲁棒性，适用于现实场景下的部署应用。