[发明专利]一种基于计算机视觉的盲人导航方法、装置及系统

说明书

本发明涉及计算机视觉技术领域，具体公开了一种基于计算机视觉的盲人导航方法，其中，包括：通过摄像头实时获取周围环境的图像数据；将图像数据通过算法处理得到摄像头位姿、物体类别和物体在图像数据中的位置以及每个像素的深度信息；将摄像头位姿、物体类别和物体在图像数据中的位置以及每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对摄像头位姿进行处理后得到用户行走的轨迹；判断用户是否偏离行走路线，以及根据物体在三维坐标系中的位置向用户发出是否有障碍物的提示信息。本发明还公开了一种基于计算机视觉的盲人导航装置及系统。本发明提供的基于计算机视觉的盲人导航方法能够便于盲人使用且成本低。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于计算机视觉的盲人导航方法、基于计算机视觉的盲人导航装置及包括该基于计算机视觉的盲人导航装置的基于计算机视觉的盲人导航系统。

背景技术

近年来，随着硬件计算速度的提高，深度学习算法迅速发展，在计算机视觉领域得到了广泛的运用，比如人脸识别、物体检测、物体追踪等任务。在这些任务中，无论是精度还是速度都超过了传统机器学习方法，科技人员不断寻找应用场景，试图将这些算法应用到实际产品中。即时定位与地图构建(Simultaneous Localization and Mapping--SLAM)技术，可以同时解决精确定位和地图重建问题。定位是一种精确的定位，包含机器位置、朝向、高度，地图重建可以恢复出检测到的特征点在世界三维坐标中的位置。

当前，已经有大量的研究工作致力于针对盲人视力障碍导致的出行不便的问题，如何设计一个可方便使用的导航设备，能够为盲人提供避障的提示，并可监视盲人出行，使盲人能够安全、方便的出行。现有的方法都是使用多传感器来满足这样的需求，使用GPS来对盲人进行定位，使用激光测距仪、超声波测距仪等传感器来对障碍物进行测距，使用摄像头来识别传感器的类别。这样一种多传感器的设计增加了制造成本，多个设备的融合不方便用户携带，给用户的使用造成了困难，不利于这种导航技术的普及。

因此，如何提供一种便于盲人使用且成本低的盲人导航方法成为本领域技术人员亟待解决的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种基于计算机视觉的盲人导航方法、基于计算机视觉的盲人导航装置及包括该基于计算机视觉的盲人导航装置的基于计算机视觉的盲人导航系统，以解决现有技术中的问题。

作为本发明的第一个方面，提供一种基于计算机视觉的盲人导航方法，其中，所述基于计算机视觉的盲人导航方法包括：

通过摄像头实时获取周围环境的图像数据，所述图像数据包括连续的多帧图像；

将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息；

将所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对所述摄像头位姿进行处理后得到用户行走的轨迹；

根据所述用户行走的轨迹以及结合用户的目的地判断用户是否偏离行走路线，以及根据所述物体在三维坐标系中的位置向用户发出是否有障碍物的提示信息。

优选地，所述将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息包括：

将所述图像数据通过定位与地图构建算法进行处理得到所述摄像头位姿；

将所述图像数据通过深度学习Focal Loss算法进行处理得到所述图像数据中的物体的类别和物体在所述图像数据中的位置；

将所述图像数据通过深度学习FCRN算法对所述图像数据的深度进行处理，得到所述图像数据中每一个像素的深度信息。