[发明专利]一种基于深度学习3D姿态评估的跌倒检测方法

说明书

本发明公开一种基于深度学习3D姿态评估的跌倒检测方法，包括如下步骤：通过双目摄像机实时采集目标人物的双目摄像机左右图像；调用预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；基于双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。本发明将双目立体视觉与深度学习结合进行做人体骨骼关键点检测，实时抽取了场景中人物的3D人体骨架，基于3D人体骨架进行高效的、准确的跌倒检测，且使用便捷、使用成本低。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于深度学习3D姿态评估的跌倒检测方法。

背景技术

我国正快速进入老龄化社会，老年人口数量众多，老年人由于身体各种功能衰退，患病以及服药都有可能引起跌倒。由于社会经济的发展和家庭结构的变化，独居空巢的老年人家庭正在急剧的增多，很多跌倒经常发生在生活居住的室内，如起床站立、上厕所、洗澡等，只有少数跌倒是发生在有危险的活动中，如爬梯子、搬重物等。发生跌倒如果不能及时的进行救助，就会引起严重的后果甚至死亡。检测室内人体在移动时发生的跌倒行为，目前的主要方法基本分为两类：1、利用单目(单个摄像头)的深度学习的人体骨骼关键点检测，可以产生2D人体骨架(human skeleton)，进而评估人体的姿态或识别动作、检测跌倒等，但是2D人体骨架缺乏深度信息(距离信息)，动作识别会产生歧义，对跌倒的检测也不够准确，尤其对假跌倒动作不能很好识别；2、利用可穿戴传感装置，通过传感器感知人体在三维空间的多个方向的速度或者加速度做跌倒判断，这种方式在室内使用尽管设置和操作简单，但是携带的舒适性差等原因，造成老年人在晚上睡觉或洗澡等易发生跌倒的时间恰恰没有携带或由于其它原因而忘记携带，需要使用者佩戴相关装置和设备，无法真正有效的在跌倒发生时报警。

发明内容

为了解决上述技术问题，本发明提出一种基于深度学习3D姿态评估的跌倒检测方法，可以高效的、准确的进行人物跌倒检测，且使用便捷、使用成本低。

为了达到上述目的，本发明的技术方案如下：

一种基于深度学习3D姿态评估的跌倒检测方法，包括如下步骤：

通过双目摄像机实时采集目标人物的双目摄像机左右图像；

调用预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；

基于双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。

在一个实施例中，还包括如下步骤：

基于Gstreamer构建取流插件、H264帧解析插件、硬件解码插件、AI推理插件插件、跌倒判断插件，和每个插件独立应用的管道；

所述取流插件用于调用双目摄像机拍摄的视频流；

所述H264帧解析插件和硬件解码插件用于对视频流进行解析、解码处理，获取双目摄像机左右图像；

所述AI推理插件用于调用预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；

所述跌倒判断插件通过双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。

在一个实施例中，所述人体骨骼关键点检测模型利用TensorRT进行优化重构。

在一个实施例中，基于双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，具体包括如下步骤：

对双目摄像机左右图像中的2D人体骨骼关键点进行人体匹配，获得人体2D人体骨骼关键点对；