[发明专利]一种基于RGB-D相机和立体声的视障人士障碍物预警眼镜

权利要求书

1.一种基于RGB-D相机和立体声的视障人士障碍物预警眼镜，所述眼镜包含眼镜本体、一个红外投射器，两个相同的红外相机，一个彩色相机，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块；所述一个红外投射器，两个相同的红外相机，一个彩色相机，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块均固定在镜架上，其中，两个相同的红外相机，一个彩色相机的光轴彼此平行，两个相同的红外相机分别固定在两个镜片的正上方，彩色相机和红外投射器均安装在两个红外相机之间；两个骨传导震动模位于两个镜脚中间偏后处，贴合盲人耳朵前方颅骨处；USB集线器和小型处理器嵌于一个镜脚内；骨传导耳机模块和电池模块嵌于另一个镜脚内；红外投射器、两个红外相机、彩色相机通过USB集线器与小型处理器相连，电池模块与小型处理器相连；两个骨传导震动模块均通过骨传导耳机模块与小型处理器相连；彩色相机和红外投射器位于两个红外相机之间；两个红外相机、彩色相机的光轴彼此平行；小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的两幅红外图像，彩色相机实时地采集三维场景的彩色图像；USB集线器将两幅红外图像和一幅彩色图像传给小型处理器；小型处理器对获取的两幅红外图像、一幅彩色图像进行处理，获取三维场景的深度图像；小型处理器对深度图像进行分块，并将分块后的深度信息转化为立体声信号，并传给骨传导耳机模块；骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块；两个骨传导震动模块，传递骨传导震动信号给视障用户，实现障碍物预警。

2.根据权利要求1所述的眼镜，其特征在于，通过以下方法实现障碍物预警：

(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距fIR，左红外相机的主点位置(cIR-x,cIR-y)，两个红外相机的基线距离BIR-IR；

(2)对彩色相机进行一次相机标定，获取彩色相机的焦距fcolor，主点位置(cCOLOR-x,cCOLOR-y)；

(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离BIR-COLOR；

(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中；

(5)两个红外相机采集三维场景的两张红外图像IRleft和IRright；

(6)彩色相机三维场景的彩色图像Color；

(7)USB集线器将两幅红外图像IRleft和IRright，一幅彩色图像Color传给小型处理器；

(8)小型处理器对两张红外图像IRleft和IRright提取Sobel边缘，获取两张Sobel边缘图像Sobelleft和Sobelright；

(9)以左Sobel边缘图像Sobelleft为基准，对两张Sobel边缘图像Sobelleft和Sobelright进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e1,e2,e3,...,eM}；在左Sobel边缘图像Sobelleft中，每一个有效点为e＝(u,v,d)T，u为横坐标像素值，v为纵坐标像素值，d为视差值；

(10)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d＝aiu+biv+ci，其中ai，bi，ci为第i个视差平面的系数；

(11)在这些视差平面的基础上，将未匹配的像素点(u',v',d')T转换为匹配的有效点(u,v,d)T；具体为：该像素点(u',v',d')T到第i视差平面的距离为设能量函数为其中ε，σ为常数；对该像素点，遍历视差搜索范围所有的视差值d'＝{d'min,...,d'max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d；另外，u＝u'，v＝v'；

(12)遍历所有未匹配的像素点，获取每个未匹配的像素点的视差值，得到以左红外相机为基准的视差图像Disparityleft；

(13)根据两个红外相机的焦距fIR和基线距离BIR-IR，遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depthleft中每一点对应为(u,v,depth)，从而获得左红外相机为基准的深度图像Depthleft；

(14)利用深度图像Depthleft和彩色图像Color，两个红外相机的焦距fIR，左红外相机的主点位置(cIR-x,cIR-y)，彩色相机的焦距fcolor，主点位置(cCOLOR-x,cCOLOR-y)，以及左红外相机和彩色相机的基线距离BIR-COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depthcolor；

(15)将彩色相机视场的深度图像Depthcolor从左到右分成K块，计算每一块深度图像DepthK的平均深度depthK；

(16)用不同音色的乐器的合奏来表示K块深度图像DepthK:不同块的深度图像DepthK用不同音色的乐器发声；乐器声音的响度Volume与每一块图像的平均深度depthK成反比，即：障碍物越近，平均深度depthK越小，响度Volume越大；障碍物越远，平均深度depthK越大，响度Volume越小；每个方向的乐器声都为立体声；

(17)小型处理器将立体声信号传给骨传导耳机模块；

(18)骨传导耳机模块将立体声信号转为骨传导震动信号；

(19)骨传导震动模块将骨传导震动信号传递给视障用户。