[发明专利]基于视频的血流特征测定及疲劳度判定

说明书

本发明公布了一种非接触式测定疲劳度的途径，分为两个部分。第一部分通过分析视频中人皮肤区域的像素值随时间变化的序列，经成像光电容积描记法(ImagePhotoplethysmography，IPPG)信号提取、心动窗口提取、血流信号特征提取、特征时延计算和噪声过滤五个步骤得到有效像素位置的血流特征时延。第二部分对有效像素点的血流特征时延与原始视频帧进行数据融合，将视频转化为一张带有血流信息的人皮肤图片，将该图片作为训练对象利用神经网络进行深度学习，得到具有判别疲劳程度能力的网络模型，同时再对血流特征提取和数据融合的算法进行优化，从而形成从视频到人体疲劳程度检测结果的非接触式检测系统。

技术领域

本发明涉及数字图像处理、数字信号处理、深度学习、卷积神经网络在微小信号放大、图像分类等方面的应用。

背景技术

随着科学发展与社会进步，人们的生活水平不断提高，高强度的生产生活与丰富的娱乐方式在不断支配人们消耗精力的同时，让疲劳这一生理现象开始流行于人群当中，很多人不知道何时就患上了慢性疲劳综合症，无法高效的工作学习与娱乐，甚至无法正常的生活。此外，每年因疲劳驾驶导致的交通事故不计其数，人们的生命财产安全受到严重威胁。因此，我们需要一种手段去实时监测并告知人们的疲劳状况，并尽可能使监测的过程不影响人们的生产生活。

疲劳作为一种生理表现，已有研究表明它的产生和某些生理信号有所关联，例如脑电信号、心率、眼动信号、血流信号等，这些生理信号相比于疲劳时人们表现出的行为如打哈欠、闭眼等，可能更接近疲劳的本质，而随着计算机视觉领域的发展，依靠视频画面中的像素级变化，非接触式的提取心率、眼动信号甚至血流场已经成为现实，本发明就是从血流信号与疲劳具有一定的相关性为出发点，依靠数字信号分析、数字图像处理从视频中提取血流相关信息，再建立血流信息到人体疲劳度判定的神经网络模型，搭建起由视频，到血流信息再到疲劳度这三者的桥梁。

发明内容

本发明目的在于帮助人们在日常生活中能够方便的检测自己的疲劳状态，建立一套非接触式测定疲劳度的系统，以血流信号为媒介建立了一条由视频到血流信息再到人体疲劳程度的新型疲劳度测定途径。

本发明解决问题所采用的方案分为两个部分：第一部分，从视频中提取能够反映血流速的特征信息。我们可以从视频的帧序列中锁定人体皮肤的像素区域，从而得到这些像素点的像素值关于时间变化的序列，利用成像光电容积描记法等处理后确定视频中的每一个心动窗口，再从原序列设定条件过滤提取血流特征序列，这些特征记录了一个心动周期中血流信号上升或下降沿时刻，将血流特征序列与心动窗口进行匹配，计算出每一心动窗口血流特征出现的时延，由该时延可以推测血流流经目标像素点的速度，并设计了针对该时延的噪声点过滤方法。第二部分数据融合和模型训练优化。我们通过将第一部分的方法应用于一个已知疲劳度的视频组，将计算出的有效时延根据像素点的位置绘制成图，并在空间上计算梯度得到时延梯度图，该梯度图可反映血流在对应像素位置的血流相对速度大小，我将它与原图像融合相当于从视频中提炼出带有血流信息的关键帧，将该关键帧与视频疲劳度一起构成数据集在神经网络模型上进行训练，同时根据结果优化改进第一部分的算法，并得到具有较高准确率的判决模型，形成完整可靠的疲劳检测系统。

附图说明

图1为IPPG信号基本过程

图2为提取出的IPPG信号样例

图3为提取出的心动窗口示意图

图4为血流变化特征时刻点提取结果样图

图5从左到右依次是视频原帧、时延梯度图、带有血流信息的融合图像

图6为疲劳检测系统框架图

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实例对本发明进行详细的描述。