[发明专利]一种基于主动视觉引导的导盲杖地形探测方法

说明书

本发明涉及一种基于主动视觉引导的导盲杖地形探测方法，属于主动引导和深度学习技术领域。本发明方法在残疾人服务设备领域，利用了已有的GAN生成触觉信号，用于盲人辅助设备即导盲杖中，引入了主动视觉引导，可以通过振动触觉帮助盲人更好的感知地面信息。在保证盲人感知地面信息的情况下，避免了漫无目的的探测地面，而是基于主动视觉引导来探测地面，方便了视障人士的出行。相比于传统的导盲设备，不再需要通过导盲杖漫无目的的探测，而是先进行了地面异常检测，做到了有针对性地探测地面区域，更有利于视障人士出行的安全、可靠和便捷。

技术领域

本发明涉及一种基于主动视觉引导的导盲杖地形探测方法，属于主动引导和深度学习技术领域。

背景技术

近年来，随着电子产品的普及以及人们生活方式的改变，造成了全球视力受损或失明人数不断增加。据世界卫生组织2019年报告，全球至少有22亿人视力受损或失明。更令人担忧的是全世界盲人数量每年都在不断增加，盲人已成为全球不可忽视的一个群体。

而触觉作为人类5种感觉通道之一，是人类与外部世界进行信息交互的基本渠道，通过触觉通道可以感知来自于外界的硬度、温度、形状、表面纹理等重要信息，尤其对于盲人来说，这是其感觉外界事物和补偿视觉缺陷的主要途径之一。因此，而出现的触觉替代视觉技术成为了研究的热点，科技工作者更是将其用在盲人辅助设备中，研制出了一系列触觉替代视觉辅助设备，其中第一个触觉替代视觉的有效工具是手杖，盲人通过拐杖接触地面，可以获得周围的地面信息如材质、高度以及斜坡。再通过给手杖装配激光、声纳等障碍检测器，可以使盲人获得障碍物的方位及距离。手杖因为其操作的简便性而得到广泛使用，但是将地面信息转换成盲人一种直观感觉的触觉的研究却很少，尤其是目前还未见到基于主动视觉引导的导盲杖研究。

深度学习模型具备多层次结构，会自动提取图像中从底层到高层的特征信息。而在对数据的学习过程中，模型会自动生成图像的特征表述，无需再考虑人为构建特征的问题，因此深度学习得到广泛应用，而生成对抗网络(GANs)作为深度学习中的一种生成式网络模型，其被广泛的应用于计算机视觉领域，例如图像合成，文本到图像的合成,风格迁移，图像超分辨率,图像域的转换,图像修复等。尽管它们在计算机视觉方面取得了巨大的成功，但在使用GAN进行音频建模方面，并没有多大的进展，利用GAN生成触觉信号的研究也很少。

发明内容

本发明的目的是是提出一种基于主动视觉引导的导盲杖地形探测方法，以克服已有技术的不足之处，基于提取的图像特征，检测地面异常，以及基于生成对抗网络生成触觉振动，将视觉信息转换到触觉信息，为盲人探测地面提供可靠信息。

本发明提出的基于主动视觉引导的导盲杖地形探测方法，包括以下步骤：

(1)用盲人眼镜上的摄像头获取地面图像；

(2)采用均匀分块法，对步骤(1)的地面图像进行分割，得到多个图像块；

(3)对步骤(2)中的多个图像块进行特征提取，包括以下步骤：

(3-1)每个图像块的颜色直方图h_ij,c为：

其中，M,N分别表示图像块的长与宽，f_mn表示像素点(m,n)处的颜色值，c表示图像块中的一种颜色，每个图像块上所包含的颜色集为C，δ表示激活函数，将颜色直方图作为每个图像块的图像特征；

(3-2)计算所有图像块的颜色直方图h_ij,c的均值：

其中，I,J分别表示对地面图像进行分割后的图像块的位置，位置为(i,j)处的图像块的颜色直方图为h_ij,c；