[发明专利]一种基于RGB-D相机和立体声的视障人士楼梯检测眼镜

摘要

本发明公开了一种基于RGB‑D相机和立体声的视障人士楼梯检测系统及方法。该方法利用RGB‑D相机采集深度图像，利用姿态角传感器获取相机的姿态角信息。小型处理器利用深度信息和姿态角信息，计算获取三维坐标和表面法向量信息，利用表面法向量信息对三维场景中的平面进行提取，判别当前场景中是否存在楼梯，如果存在楼梯，则计算每一级楼梯的距离与方向，最后利用骨传导耳机传递给视障人士进行辅助，可以很好地满足视障人士预知楼梯的需求。

主权项

1.一种基于RGB‑D相机和立体声的视障人士楼梯检测眼镜，所述眼镜包含眼镜本体，以及固定在眼镜本体上的一个RGB‑D相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块和一个电池模块；所述RGB‑D相机固定在眼镜镜片上方，两个骨传导震动模位于两个镜脚中间偏后处，贴合盲人耳朵前方颅骨处；USB集线器、姿态角传感器和小型处理器嵌于一个镜脚内；骨传导耳机模块和电池模块嵌于另一个镜脚内；RGB‑D相机与姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连；两个骨传导震动模块均通过骨传导耳机模块与小型处理器相连；RGB‑D相机实时地采集三维场景的深度图像；姿态角传感器实时获取RGB‑D相机的姿态角；USB集线器将一幅深度图像和姿态角信息传给小型处理器；小型处理器对深度图像和姿态角信息进行处理，获取三维场景中每一点的三维坐标，并计算每一点的局部表面法向量，利用法向量信息分割出三维场景中的平行于水平面的平面，并对平面的高度进行聚类处理，最终获取每一级楼梯的距离与方向，转为立体声信号，并传给骨传导耳机模块；骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块，骨传导震动模块传递骨传导震动信号给视障用户；检测楼梯的方法包括以下步骤：(1)对RGB‑D相机进行一次相机标定，获取深度相机的焦距f，深度相机的主点位置(cx,cy)；(2)RGB‑D相机采集三维场景的深度图像Depth；(3)姿态角传感器采集RGB‑D相机的X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ；(4)USB集线器将深度图像Depth，三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器；(5)小型处理器根据深度图像Depth，深度相机的焦距f，深度相机的主点位置(cx,cy)，可计算出每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)；深度图像Depth中一点坐标为(u,v)，其深度值为depth，则相机坐标系下三维坐标(Xc,Yc,Zc)可由公式(1)计算出：(6)根据深度图像中每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)，以及姿态角传感器三轴方向的转角分别为AngleX＝α，AngleY＝β，AngleZ＝γ，则可由公式(2)计算出每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)：(7)根据深度图像中每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)，可计算每一点的局部表面法向量(nx,ny,nz)；具体为：对每一点P，取离它最近的K个点Pi，i∈{1,2,...,K}；根据这K个点的三维坐标，用最小二乘法拟合出一个局部平面，对该平面的法向量进行归一化处理，即获取点P的局部表面法向量(nx,ny,nz)；(8)三维场景中每一点的局部表面法向量分量ny可表征了该点的局部平面是否平行于水平面，剔除表面法向量分量ny的绝对值|ny|小于阈值thresholdn的点，thresholdn为0.85～0.95，获取三维场景中在平行于水平面的平面上的点；(9)三维场景中平行于水平面的平面上的点到RGB‑D相机所在水平面的高度值为H可由该点世界坐标系下的三维坐标分量Y_w表示；对平行于水平面的平面上的点的高度值H进行聚类处理，得到多个平行水平面的平面，计算每个平面的平均高度聚类处理的方法可为K‑Means聚类算法、层次聚类算法、SOM聚类算法、FCM聚类算法；(10)提取出高度以Δh依次递增或递减的N个平面，即为每一级楼梯的上平面，一共N级；如果N大于1，说明当前场景中存在楼梯；Δh为楼梯高度，一般为0.2～0.3米；(11)每一级楼梯的距离D可由每一级楼梯的上平面上的点的平均深度表示，每一级楼梯的方向角θ可由每一级楼梯的上平面上的点的平均水平坐标与平均深度之商的反正切表示，即(12)用N种不同音色的乐器的合奏来表示N级楼梯，不同乐器的发声表示不同级楼梯；当一级楼梯的距离D越小，则对应这一级楼梯的乐器的响度Volume越大；每一种乐器的发声都为立体声，立体声的方向和对应的一级楼梯的方向角θ相对应；(13)小型处理器将立体声信号传给骨传导耳机模块；(14)骨传导耳机模块将立体声信号转为骨传导震动信号；(15)骨传导震动模块将骨传导信号传递给视障用户。