[发明专利]一种融合UWB室内定位与视频目标检测与跟踪技术的溺水行为检测方法

权利要求书

1.一种融合UWB室内定位与视频目标检测与跟踪技术的溺水行为检测方法，其特征在于通过如下设备实现，包括有智能手环模块、智能监控信息处理模块、通信模块、和显示报警模块，智能手环模块用以进行室内定位，同时进行水深检测并发出频闪灯信号进行报警，智能手环模块设置有用以进行信息传递与处理的MCU，还设置有与MCU通信连接的UWB定位标签、压力传感器和频闪灯，MCU通过其引脚还连接有报警模块，即闪频灯，用以进行溺水报警；压力传感器用以测定水压数据变动的频率，并能够将水深压力变化信号转化为可输出的电信号，并将该电信号传输至MCU进行数据处理，再通过UWB定位标签发送给UWB基站；UWB定位标签用以获得手环使用者的位置数据；智能手环模块能够实现精确的室内定位，同时与智能机监控摄像头的视频检测结果匹配，以验证是否有人员没有佩戴手环，同时实现利用UWB一人一标签ID的特点，实现人员的跟踪；智能监控信息处理模块为信息综合与智能处理主机，用以处理智能监控摄像头采集的视频数据、智能手环的定位信息和水深信息，并实时检测和跟踪泳池内的游泳人员，根据提取的特征和设定的条件进行溺水判断；智能监控信息处理模块还通信连接有显示器，能够将信息综合与智能处理主机传递过来的智能手环和智能监控摄像头传来的数据进行显示监控与处理，显示器能够显示多个智能监控摄像头的实时监控数据，并显示泳池内人员的检测和跟踪状况；智能监控信息处理模块还包括有信息综合与智能处理主机通信连接的智能机监控摄像头，安装泳池上方，通过网线或者wifi将监控数据实时发送到信息综合与智能处理主机上，信息综合与智能处理主机通过算法软件智能识别和跟踪泳池内的游泳人员，并判断是否有挣扎溺水的动作；报警模块包括有报警装置，并且与信息综合与智能处理主机通信连接，信息综合与智能处理主机在处理并发现危险情况后能够将报警信息发送至报警装置处进行及时报警；通信模块包括有路由交换机、WiFi设备和蓝牙设备，用以实现智能手环模块、智能监控信息处理模块和显示报警模块之间的信息传递，其中智能手环模块和智能监控信息处理模块均通过WiFi和蓝牙通信的方式与信息综合与智能处理主机通信连接。

2.根据权利要求1所述的一种融合UWB室内定位与视频目标检测与跟踪技术的溺水行为检测方法，其特征在于智能监控摄像头的最佳方式如下，安装在泳池的正上方墙壁上往下俯视，摄像头数量取决于泳池的面积大小、长宽比例、墙顶高度、摄像头FOV参数，以全面覆盖泳池为最佳，并保证人体在图像中成像不小于500个像素，安装数量最佳为2-3个摄像头，如果不能安装在整上方，则安装到泳池四周墙壁的高处；信息综合与智能处理主机的数量与摄像头数量一样，采用一对一通信，以保证足够的计算能力。

3.根据权利要求1所述的一种融合UWB室内定位与视频目标检测与跟踪技术的溺水行为检测方法，其特征在于具体检测步骤按照如下方式进行：

S1、系统初始化：

a、建立智能监控摄像头图像、智能手环模块定位与泳池坐标系的关系，完成硬件环境的配置，智能监控摄像头所需参数如下：焦距、FOV、相机高度(与水面垂直距离)、位姿参数，还需获得摄像头的畸变参数(径向切向)用以进行图像畸变矫正；通过现有的计算方式完成智能监控摄像头图像的标定，用以矫正畸变和求解摄像头的内参，采用方法为现有的张正友标定法；再进行智能手环模块定位标定，以泳池为坐标系建立定位系统，智能监控摄像头获得的图像坐标到泳池坐标则采用单目三角形相似法测距，游泳人员检测和轮廓提取采用Mask-RCNN算法，多目标跟踪采用Kalman滤波算法，定位匹配采用匈牙利算法，挣扎动作溺水判断采用图像溺水特征提取+阈值判断，UWB无信号溺水判断采用UWB一定时间无信号+视频检测不到算法，水压溺水判断一定水压超过一定时间+闪灯检测算法，上述算法均通过主机进行判断；

S2、溺水条件的的设定：

通过智能监控摄像头获取泳池内及周边人员的如下行为和位置信息并记录，具体包括：直立、速度缓慢、面积变化较大、红灯：水深1米以下超过阈值时间、黄灯：水深0.5-1米，超过阈值时间、进入深水区、视频检测不到人；通过智能手环获取并记录如下信息：UWB信号消失超过阈值时间、UWB信号频率在一定阈值范围内，上述信息均传输至主机处，由主机按照如下条件对某个人是否溺水进行判断，分别达到如下几种条件则判定为溺水，主机控制报警装置发出溺水信号，溺水条件1：同时满足直立、速度缓慢、面积变化较大、进入深水区、UWB信号频率在一定阈值范围内；溺水条件2：UWB信号消失超过阈值时间、进入深水区、视频检测不到人；溺水条件3：UWB信号消失超过阈值时间、红灯：水深1米以下超过阈值时间、进入深水区、视频检测不到人；分别达到如下几种条件则主机控制报警装置进行警告，警告条件1：UWB信号消失超过阈值时间、黄灯：水深0.5-1米，超过阈值时间；警告条件2：黄灯：水深0.5-1米，超过阈值时间、视频检测不到人；

表1溺水条件

智能手环中UWB信号消失则通过MCU进行消失时间阈值的设定，超过时间阈值则是发生溺水危险或需要警告的条件之一；

其中，红灯：水深1米以下超过阈值时间和黄灯：水深0.5-1米，超过阈值时间通过如下方式判断，通过MCU设定频闪灯阈值，并根据测得的水深来设定对应并打开频闪灯，在检测到水深超过1米时则红灯闪烁，水深0.5-1.0米时则黄灯闪烁，然后通过智能监控摄像头捕捉确定灯的颜色；

在发生溺水后，溺水者通常会有以下特征：一是移动速度慢，二是面积变化大，三是处于直立状态，上述特征通过对智能监控摄像头获取的视频资料中所有人的前后状态的变化进行计算后判定，速度缓慢的判定则是计算每个目标质心前后帧的像素距离；身体垂直则是计算目标前后帧所占像素个数前后帧差值的绝对值，面积变化较大则是计算目标最佳匹配椭圆的长轴和短轴的比值；

S3、通过溺水检测算法进行溺水判定：

溺水检测算法结合目标检测算法、目标跟踪算法和溺水判断算法为一个整体，一是用于检测并跟踪泳池内的人员，并定位其轮廓；二是自动判断检测和跟踪人员是否有溺水或潜在溺水行为，具体流程如5所示，具体工艺步骤如下：

一、通过目标检测和分割算法来有效的提取出游泳人员，并排除水花、灯光、隔离带等干扰，采用运动目标检测的方法能够有效的提取游泳人员，但是同时也会将水花和隔离带的运动错认为是游泳人员，虽然通过颜色和肤色滤波等方法可以减少这种错检测，但是该方法容易受到背景水花颜色的影响，而且提取的轮廓也不够准确，为了有效的解决背景干扰问题，采取逐帧进行人体检测的方法来提取目标，因为后续的溺水行为判断需要提取人体的轮廓，因此目标检测之后需要对目标进行图像分割；综上考虑，采用Mask-RCNN算法，该算法将检测卷积神经网络与图像分割的网络结合，实现了端到端的训练，在Mask R-CNN算法的基础:改进用FPN进行目标检测，并通过添加额外分支进行语义分割(额外分割分支和原检测分支不共享参数)，即MaskR-CNN有三个输出分支(分类、坐标回归、和分割)，具有如下好处：改进了RoIpooling，通过双线性差值使候选区域和卷积特征的对齐不因量化而损失信息；一是在分割时，MaskR-CNN将判断类别和输出模板(mask)这两个任务解耦合；二是用sigmoid配合对率(logistic)损失

函数对每个类别的模板单独处理，相比于经典分割方法用softmax让所有类别一起竞争的准确率高；具体步骤如下：

(1)整张图片送入CNN，进行特征提取；

(2)在最后一层卷积featuremap上，通过RPN生成ROI，每张图片大约300个建议窗口；

(3)通过RoIAlign层使得每个建议窗口生成固定大小的feature map(ROIAlign是生成mask预测的关键)

(4)得到三个输出向量，第一个是softmax分类，第二个是每一类的bounding box回归，第三个是每一个ROI的二进制掩码Mask(FCN生成)，实验结果如图6和图7所示；

二、多目标跟踪，在视频图像序列中，可在各帧之间确定相关参数，包括有目标的位置、速度、形状、颜色，通过对前后帧之间进行匹配，得到它们的匹配关系，将目标轨迹信息记录下来，从而实现目标跟踪；跟踪部分，用的是卡尔曼滤波算法，卡尔曼是一个线性估计算法，可以建立帧间bboxs的关系，跟踪分为5种状态：1、新目标出现；2、目标匹配；3、目标遮挡；4、目标分离；5、目标消失；通过卡尔曼滤波算法定义好了观测方程与状态方程之后就可以用卡尔曼滤波器实现运动目标的跟踪，步骤如下：

1)计算运动目标的特征信息，包括运动质心和外接矩形；

2)用得到的特征信息初始化卡尔曼滤波器，开始时可以初始为0；

3)用卡尔曼滤波器对下一帧中对应的目标区域进行预测，当下一帧到来时，在预测区域内进行目标匹配；

4)如果匹配成功，则更新卡尔曼滤波器；

匈牙利匹配算法在此处是将新一帧图片中检测到的运动物体匹配到对应的轨迹，匹配过程是通过最小化卡尔曼预测得到的质心与检测到的质心之间的欧氏距离之和实现的；

具体可以分为两步：

a)计算损失矩阵，大小为[M N]，其中，M是轨迹数目，N是检测到的运动物体数目；

b)求解损失矩阵

具体的匹配算法如下：

1)计算运动目标的特征信息(质心，边界框)；

2)记已有轨迹数M，初始值为0；

3)对下一帧中对应的目标区域进行预测，当下一帧到来时，在预测区域内进行目标匹配；

4)如果匹配成功，则更新轨迹，在匹配的过程中，使用的是Kuhn-Munkres(KM)算法，将新一帧图片中检测到的疑似目标匹配到对应的轨迹，匹配过程是通过最小化预测得到的质心与检测到的质心之间的欧氏距离之和实现的，具体可以分为两步：

1)计算损失矩阵，大小为[M N]，其中，M是轨迹数目，N是检测到的运动物体数目；

2)求解损失矩阵

KM算法可以概括成以下几个步骤：

a)初始化可行标杆；

b)用匈牙利算法寻找完备匹配；

c)若未找到完备匹配则修改可行标杆；

d)重复(b)、(c)直到找到相等子图的完备匹配。