[发明专利]一种基于RGBD图像行人搭乘自动扶梯摔倒行为的检测方法

说明书

本发明公开了一种基于RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法，其中包括以下步骤：使用双目相机获取到扶梯上行人的RGB图像信息；根据双目相机获取的RGB视图，获取到图像的深度信息；根据RGBD图像进行识别，获得3D人体骨骼坐标信息；根据3D骨骼坐标信息，进行判断该对象是否存在摔倒行为。本发明通过使用了双目摄像机可远距离获取扶梯行人的RGB图像，进而获取深度信息，通过识别RGBD图像获得的3D人体骨骼坐标信息来判断该对象是否存在摔倒行为，减少因摔倒而造成悲剧事件的发生。

技术领域

本发明涉及自动扶梯安全领域，具体涉及一种基于RGBD图像的行人搭乘自 动扶梯摔倒行为的检测方法。

背景技术

自动扶梯是人们日常活动必不可少的公共设施，它给人们带来了许多生活上 的便利，但同时也带来了许多潜在的危险。然而目前对于行人搭乘自动扶梯摔倒 事件的检测仍然不够成熟，精度相对较低。

现有技术中，基于计算机视觉技术来进行行人的摔倒检测方法是指利用摄像 头模块获取图像信息，并对数字图像进行处理分析判断行人的跌倒行为。国内沈 秉乾提出一种新的跌倒检测方法，该方法针对的是那些包含跌倒特征的己经录制 结束的视频图像，利用人体姿态估计技术对视频图像进行分析。该方法是对录制 结束的视频信息进行分析，故其不能够满足实时性的要求，无法应用于商场等公 共场所的行人乘坐扶梯摔倒行为的检测。宋菲等人使用OpenCV源视觉库设计出 了一个老年人跌倒检测系统，该系统将体被分成三个区域，提取出每个区域重心， 通过计算重心间的线性比例来进行跌倒的检测。该方法易受到环境噪声的影响， 且并未利用3D信息进行判断，故检测不够稳定。白云飞等人使用嵌入式设备采 集视频图像然后将其传输至计算机，使用计算机对数据信息进行处理进行跌倒检 测。该方法的一个缺陷为使用计算机处理数据很难实现远距离的监控和实时性处理。

中国专利202010971735.4提出基于FasterR-CNN的扶梯行人位姿目标检测 方法和系统，其主要利用RGB视频流进行图像帧的分析来判断的行人的位姿是否 处于危险状态。中国专利202110092028.2则发明了一种行人搭乘扶梯异常行为 检测方法、装置及电子设备，其主要通过获取行人搭乘扶梯的RGB图像并输出相 应的行人骨骼点信息，通过判断该行人骨骼点与扶梯的相对位置关系来判断行人 搭乘扶梯是否符合规范。上述两种方法主要利用了RGB图像信息进行分析，缺乏 对于3D信息的获取及分析，其结果精度相对较低，鲁棒性较差。

以上设备及技术方案都存在应用普适性差、应用难度高、精度较低等缺陷， 故现在需要一种稳定、准确的检测方法来检测老人小孩等行人在自动扶梯上的摔 倒行为，以帮助避免悲剧事件的发生。

发明内容

为解决现有技术和设备的以上缺陷或改进需求，本发明提供了一种基于 RGBD图像的行人搭乘自动扶梯摔倒行为的检测方法。该方法包括以下步骤：

S1使用双目相机获取到扶梯上行人的RGB图像信息。

S2根据双目相机获取的RGB视图，获取到图像的深度信息。

S3根据RGBD图像进行识别，获得3D人体骨骼坐标信息。

S4根据3D骨骼坐标信息，进行判断该对象是否存在摔倒行为。

所述步骤S1中获取RGB图像信息所选用的相机为双目相机。所述双目相机 同时安装在自动扶梯的入口和出口。

所述步骤S2获取深度信息为将获取到的双目图像输入到深度估计网络，最 终输出对应的深度图像，以获取准确的深度信息。

所述步骤S3的3D人体骨骼坐标信息可以采2.5DHeatmap的形式对单人人体 姿态进行3D骨骼建模以及3D PAFs(PartAffineFields)的形式来对多个人体 姿态进行3D人体骨骼建模

所述3D人体骨骼坐标信息获取步骤如下：