[发明专利]一种能够实现楼梯检测的装置及方法

说明书

本发明涉及计算机视觉技术领域，公开了一种能够实现楼梯检测的装置及方法，包含导盲杖本体以及与之相连接的超声波传感器、R‑GBD相机、处理器和振动感应器。RGB‑D摄像机用于采集三维环境图像，将实时图像输入到训练好的深度学习模型faster‑rcnn‑inception‑v2‑coco模型，进行实时检测，判断是上楼梯还是下楼梯；超声波传感器用于测量与地面距离，预先设定阈值，通过测量的高度与阈值对比，判定是上楼梯还是下楼梯；系统采用二者融合的方法实现楼梯检测识别，震动感应器用于识别出楼梯类别给与用户警示。本发明提供的混合方法楼梯检测的导盲手杖，该手杖结合了深度神经网络的图像识别和超声波传感器的识别功能，为视障人士提供了有效的辅助。

技术领域

本发明涉及计算机视觉技术领域，具体为基于机器视觉楼梯检测方法。

背景技术

随着世界科学技术的快速发展，新的系统每天都在开发，以使日常生活更舒适。但是那些身体有残疾的人，比普通人需要更多的帮助。技术的发展提供了解决方案，使他们可以像其他正常人一样生活在社会中。如今，视障辅助器具的发展已成为一个突出的研究领域。在过去的十年里，许多工作在这一领域已经完成，以帮助视障人士在不同的方向。为了解决视障人士的出行问题，我们开发了一种使用混合方法的楼梯检测框架，其中楼梯检测由预先训练的模型和超声波传感器完成。

现有的检测楼梯方法有基于双目视觉的三维重建，而三维重建方法虽然检测准确率高，但是对设备要求较高，成本也相对较高；仿生眼可以帮助视障人士恢复部分视觉，但仿生眼只能帮助视障人士看到低分辨率的灰度图像，难以区分楼梯与其他场景，只适用于视网膜色素变性导致失明的盲人；传统视障人士辅助的交互方式主要有语音提示、触觉震动。语义提示通常播报简短的信息，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量少。触觉震动通过震动腰带或者震动背心为硬件，以震动来提示一些方位信息，可以解决延迟的问题，但给视障人士带来负担，不同人的穿戴感受不同。

本发明针对上述现有技术中存在的不足，提供一种能够实现楼梯检测的装置及方法，主要通过图像检测和超声波传感器结合来检测识别。

解决上述现有技术问题的难度：三维重建方法对设备要求较高，成本也相对较高；仿生眼只能帮助视障人士看到低分辨率的灰度图像，难以区分楼梯与其他场景；语义提示通常播报简短的信息，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量少。触觉震动给视障人士带来负担，不同人的穿戴感受不同。

解决上述现有技术问题的意义：采用机器视觉技术和超声波传感器结合实现楼梯的定位，检测更为精准；实现了上楼梯还是下楼梯的检测识别；振动感应器设置在手杖的手柄部位，通过手杖本体震动来提醒用户，避免现有的震动腰带或者震动背心的辅助硬件设备；具有可靠，实时性强，成本低，精度高等优点。

发明内容

针对上述问题，本发明提供了一种能够实现楼梯检测的装置及方法。

本发明是这样实现的，一种能够实现楼梯检测的装置，该能够实现楼梯检测的装置具体包括：包含导盲杖本体以及与之相连接的超声波传感器、R-GBD相机、处理器和振动感应器和蜂鸣器；

所述RGB-D摄像机用于采集三维环境图像，超声波传感器用于测量与地面距离，设定阈值，通过测量的距离与阈值对比，判定是上楼梯还是下楼梯；

所述超声波传感器选用HC-SR04模块，设置在杖体上，置于手杖的固定位；

所述摄像机放置在手杖的顶部，便于对场景信息的采集；

所述处理器采用树莓派主板；

所述振动感应器置于手杖手柄中。

进一步，所述装置进一步包含导盲杖本体以及与之相连接的R-GBD相机、处理器和振动感应器和蜂鸣器；

所述摄像机放置在手杖的顶部，便于对场景信息的采集；