[发明专利]基于Kinect深度图像的人体摔倒自动检测方法

摘要

本发明提出一种基于Kinect深度图像的人体摔倒自动检测方法。本检测方法利用Kinect获取检测环境的深度图像，对其中的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，获取三维包围盒的长、宽、高数值及其单位帧内的变化速度，根据摔倒判定条件和临界值，判定摔倒事件是否发生。人体若有障碍物遮挡，则启动遮挡融合算法，将人体深度图同遮挡物深度图像融合，建立新的三维包围盒，再根据判定条件和临界值，判定摔倒事件是否发生。摔倒事件一旦发生，通过手机短信报警。本方法利用了人体的深度图像，有效降低了误判率。利用遮挡融合算法解决了人体在被遮挡情况下的摔倒事件判别问题，降低了漏报率，并可实现对人体的24小时连续实时检测。

主权项

一种基于Kinect深度图像的人体摔倒自动检测方法，其特征在于：具体步骤如下：A、准备一台安装有NITE1.5.2.21、OpenNI1.5.4.0和SensorKinect093的计算机，SensorKinect093是Kinect的驱动程序，SensorKinect093用于Kinect在NITE1.5.2.21的框架下与计算机相连，OpenNI1.5.4.0开发包中包含了Kinect中各传感器的接口以及应用程序编程接口API；B、Kinect安装的高度距离地面DECF的高度d＝2.6m，Kinect下俯视角β＝31°，以覆盖整个检测环境；C、启动基于Kinect深度图像的摔倒自动检测系统，用户可以在规定的检测环境内部自由地进行日常活动；D、在计算机主机的驱动下，Kinect启动其自带的红外线发射器，通过红外线覆盖整个检测环境，对整个检测环境内的静止物体和运动物体进行持续照射，然后通过自带的红外线CMOS摄像机收集和记录环境内的红外线反射光线，并对检测环境内的所有物体进行光编码运算；E、Kinect在获取检测环境内所有物体在Kinect坐标下的三维纵深编码值后，通过Kinect内部的解码芯片对获取的三维纵深编码进行解码运算，获取检测环境下所有物体的深度图像数据流；F、在计算机上，通过OpenNI SDK中的Simpleviewer数据接口，可在计算机屏幕上显示Kinect实时获取的检测环境内的深度图像；G、Kinect将获取的检测环境内的深度图像数据通过应用程序编程接口API传递至已编写完成的应用程序，对检测环境深度图像中的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，在人体被障碍物遮挡情况下，启动遮挡融合算法，判别人体摔倒事件是否发生，并进一步通过语音应答确认，如果摔倒事件发生，则向已登记的手机发送摔倒报警短信；其中，建立人体深度图像前景图的三维包围盒，具体步骤如下：首先，利用Simpleviewer数据接口获取检测环境内的深度图像，并通过阈值法将深度图像中的人体深度图像前景图进行着色、分割和提取，以区别于检测环境内的背景深度图像；第二，利用先腐蚀后膨胀的算法对具有三维纵深的人体深度图像前景图的外表面进行去噪和去空洞处理，使人体深度图像前景图的外表面保持光滑；第三，基于OpenNI的Skeletonwrappedskin接口，对人体深度图像前景图的外表面进行皮肤重构，利用面积S＝m且不等形状的三角形将人体深度图像前景图的外表面进行重新包裹；第四，在对人体前景图外表面进行皮肤重构的基础上，利用OpenNI的Closestpointvierwer接口，获取人体深度图像前景图在检测环境内的前、后、上、下、左、右像素边界点A、B、C、D、E、F，此像素边界点即为第三步中面积S＝m且不等形状三角形的顶点；最后，以像素边界点A、B、C、D、E、F为切点，建立包裹人体深度图像前景图前、后、上、下、左、右的6个矩形平面，通过这6个平面构建起三维包围盒；自动检测方法获取三维包围盒的长、宽、高数值i、j、k，以及长、宽、高数值i、j、k在单位帧内的变化速度I、J、K，T为数值i、j、k不变情况下的停留时间，设定为t，根据人体尺寸以及摔倒实验，设定p1、p2、p3、p4值：判定条件一：即检测过程中，当人体深度图像三维包围盒的k＜p1或时，满足条件一的要求；判定条件二：即检测过程中，人体深度图像三维包围盒的变化速度K＞p3或时，满足条件二的要求；判定条件三：Th3＝(T≥t)，即检测过程中，人体深度图像三维包围盒的长、宽、高数值i、j、k保持数据不发生变化的时间T≥t时，满足条件三的要求；当成立，即同时满足条件一、二、三的要求时，自动检测方法判定人体摔倒事件发生；人体被障碍物遮挡情况下的检测：人体运动至与遮挡物接近，当人体深度图像边界点与遮挡物深度图像边界点的最近距离L≤q时，q为设定值，遮挡融合算法启动，直至人体深度图像边界点与遮挡物深度图像边界点的最近距离L＞q时，遮挡融合算法关闭；在遮挡融合算法运行期间，人体深度图像会与遮挡物深度图像融为一体R，此时摔倒检测方法建立深度图像R的三维包围盒，并获取此三维包围盒的长、宽、高数值i'、j'、k'，以及长、宽、高数值i'、j'、k'在单位帧内的变化速度I'、J'、K'，n为遮挡物深度图像的高度数值，T'为k'＝n的停留时间，设定为t'：判定条件四：Th4＝(k'＝n)，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的k'＝n时，满足条件四的要求；判定条件五：Th5＝(K'＞p3)，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的变化速度K'＞p3时，满足条件五的要求；判定条件六：Th6＝(T'≥t')，即检测过程中，当L≤q时，启动遮挡融合算法，当融合后的深度图像R三维包围盒的高度值k'＝n保持不变的时间T'≥t'时，满足条件六的要求；当成立，即同时满足条件四、五、六的要求时，自动检测方法判定人体摔倒事件发生。