[发明专利]基于人体关键点行为识别与LSTM的跌倒预判方法

说明书

本发明提出基于人体关键点行为识别与LSTM的跌倒预判方法，该方法基于相邻人体关键点分组方法，进一步把人体分为头部、躯干和腿部三个区域进行行为识别，大大减少了计算量，从而提升了检测效率；在此基础上，通过采用LSTM，即长短期记忆神经网络机制来实现对采集视频的记忆功能，从而实现对人体行为变化的分析与识别功能，最后将识别结果归为三类：跌倒、非跌倒与其他。该方法减少了计算功耗，节约了跌倒检测时间，从而实现了实时检测与跌倒检测预判的功能。

技术领域

本发明属于人工智能AI引导下的医疗康养领域，具体涉及一种基于人体关键点行为识别与LSTM的跌倒预判方法。

背景技术

目前国内外针对基于计算机视觉的跌倒检测方法有诸多探讨，根据所采用的算法以及实施方法的不同，具体可以分为四类：(1)身体形状分析：该方法通过背景消去建模算法将人体轮廓从图像中提取出来，然后把人体作为感兴趣区域用矩形框出，利用纵横比来判断是否发生跌倒。这种方法易受光照变化以及背景运动物体的影响，误判率高，且不能实现跌倒预判功能。(2)无活动状态检测：该方法根据老人跌倒后长时间无法恢复的特点来区分跌倒与弯腰、下蹲等相似动作，通过划定特定区域来提高跌倒识别率。可见该方法是典型的跌倒后检测，无法实现预判功能，并且无法正确区分长时间躺与跌倒。(3)头部运动跟踪：该方法采用粒子滤波方法对人体头部进行跟踪，通过头部到地面的距离以及头部的下降速率来检测是否发生跌倒。这种方法通过对人体头部的稳定跟踪在一定程度上实现了跌倒预判机制，但是缺乏对跌倒模型库的构建，这会导致检测误判率较高。此外，该方法缺乏场景理解算法，对复杂环境鲁棒性不高，并且粒子滤波算法很耗时，检测速率慢，从而很难做到实时检测。(4)行为识别：该方法通过采用卷积神经网络CNN训练行走、下蹲、坐下、平躺、跌倒等多种行为方式，生成跌倒模型库，然后对其进行分类识别，从而实现跌倒检测。该方法生成了自己的模型库，大大提升了跌倒检测的准确率。但是，使用CNN训练模型计算量较大，导致算法效率较低，并且没有实现对跌倒的预判功能。

结合上文中所分析的当前世界范围内的研究现状，可以发现目前跌倒检测方法面临着以下的问题：(1)算法计算量较大，导致运行效率较低，无法做到实时检测；(2)缺少有效的跌倒预判算法。

发明内容

本发明要解决的技术问题是如何提高基于计算机视觉的跌倒检测效率，并有效实现跌倒预判，从而减少跌倒风险。

为解决上述技术问题，本发明提出了一种基于人体关键点行为识别与长短期记忆神经网络机制LSTM的跌倒预判方法；该方法采用相邻关键点结组以及LSTM精简分类方法提升跌倒检测效率，可以实现实时检测，并且利用LSTM具有的记忆功能实现跌倒预判。

一种基于人体关键点行为识别与LSTM的跌倒预判方法，其包括如下步骤：

步骤1、利用RGB摄像机采集人体行为的RGB图像；

步骤2、利用热成像相机将步骤1中采集到的RGB图像转化为红外图像，以显示人体的轮廓特征；

步骤3、对步骤2中采集到的红外图像进行初步清晰化处理，去除椒盐噪点；

步骤4、进一步对图像进行优化，得到清晰稳定的图像；

步骤5、将运动的人体从静止的图像背景中分离出来，提取出活动的人体；

步骤6、根据人体的关节点分布情况将人体分为18个关键点，所述18个关键点包括左眼、右眼、左耳、右耳、鼻子、左肩、右肩、颈部、左肘、右肘、左腕、右腕、左股、右股、左膝、右膝、左脚和右脚；

步骤7、根据位置关系将所述关键点中的左眼、右眼、左耳、右耳和鼻子进行合并，从而形成头部区域，将所述关键点中的左肩、右肩、颈部、左肘、右肘、左腕和右腕进行合并，从而形成躯干区域，将所述关键点中的左股、右股、左膝、右膝、左脚和右脚进行合并，从而形成腿部区域，并将所述三个区域分别提炼为人体的3个关键点；