[发明专利]一种基于RGB-D相机和立体声的视障人士楼梯检测系统及方法

说明书

本发明公开了一种基于RGB‑D相机和立体声的视障人士楼梯检测系统及方法。该方法利用RGB‑D相机采集深度图像，利用姿态角传感器获取相机的姿态角信息。小型处理器利用深度信息和姿态角信息，计算获取三维坐标和表面法向量信息，利用表面法向量信息对三维场景中的平面进行提取，判别当前场景中是否存在楼梯，如果存在楼梯，则计算每一级楼梯的距离与方向，最后利用骨传导耳机传递给视障人士进行辅助，可以很好地满足视障人士预知楼梯的需求。

技术领域

本发明属于视障人士辅助技术、三维环境感知技术、楼梯检测技术、立体声交互技术领域，涉及一种基于RGB-D相机和立体声的视障人士楼梯检测系统及方法。

背景技术

根据世界健康组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状、距离、运动的理解都很困难，他们的生活在起居、出行等方面都受到了巨大的影响。

传统的视障人士辅助工具比如盲人手杖，视障人士需要反复移动手杖，才仅仅能获知脚边的情况，在上下楼梯时，盲人手杖的使用也不方便。

导盲犬可以为视障人士提供帮助，但导盲犬在上下楼梯时比较迅速，难以照顾到视障人士精确定位每一级楼梯的需求。导盲犬的养护、训练费用高昂，普通家庭难以承担。

仿生眼可以帮助视障人士恢复部分视觉，但仿生眼只能帮助视障人士看到低分辨率的灰度图像，难以区分楼梯与其他场景。仿生眼只适用于视网膜色素变性导致失明的盲人。

超声波技术、激光测距技术等可以提供测距和障碍物预警的功能，但无法反映场景的信息，无法区分楼梯与其他障碍物或路况，且容易受环境干扰，耗电量大。

传统视障人士辅助的交互方式主要有语音提示、触觉震动。语义提示通常播报简短的信息，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量少。触觉震动通过震动腰带或者震动背心为硬件，以震动来提示一些方位信息，可以解决延迟的问题，但给视障人士带来负担，不同人的穿戴感受不同。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于RGB-D相机和立体声的视障人士楼梯检测系统及方法。

本发明的目的是通过以下技术方案实现的：一种基于RGB-D相机和立体声的视障人士楼梯检测系统，所述系统包含一个RGB-D相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。RGB-D相机与姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连。RGB-D相机实时地采集三维场景的深度图像。姿态角传感器实时获取RGB-D相机的姿态角。USB集线器将一幅深度图像和姿态角信息传给小型处理器。小型处理器对深度图像和姿态角信息进行处理，获取三维场景中每一点的三维坐标，并计算每一点的局部表面法向量，利用法向量信息分割出三维场景中的平行于水平面的平面，并对平面的高度进行聚类处理，最终获取每一级楼梯的距离与方向，转为立体声信号，并传给骨传导耳机模块。骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块，骨传导震动模块传递骨传导震动信号给视障用户。

上述系统检测楼梯的方法如下：

(1)对RGB-D相机进行一次相机标定，获取深度相机的焦距f，深度相机的主点位置(c_x,c_y)。

(2)RGB-D相机采集三维场景的深度图像Depth。

(3)姿态角传感器采集RGB-D相机的X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z。

(4)USB集线器将深度图像Depth，三轴方向的转角Angle_X，Angle_Y，Angle_Z传给小型处理器。