[发明专利]一种基于主动视觉引导的导盲杖地形探测方法

权利要求书

1.一种基于主动视觉引导的导盲杖地形探测方法，其特征在于该方法包括以下步骤：

(1)用盲人眼镜上的摄像头获取地面图像；

(2)采用均匀分块法，对步骤(1)的地面图像进行分割，得到多个图像块；

(3)对步骤(2)中的多个图像块进行特征提取，包括以下步骤：

(3-1)每个图像块的颜色直方图h_ij,c为：

其中，M,N分别表示图像块的长与宽，f_mn表示像素点(m,n)处的颜色值，c表示图像块中的一种颜色，每个图像块上所包含的颜色集为C，δ表示激活函数，将颜色直方图作为每个图像块的图像特征；

(3-2)计算所有图像块的颜色直方图h_ij,c的均值：

其中，I,J分别表示对地面图像进行分割后的图像块的位置，位置为(i,j)处的图像块的颜色直方图为h_ij,c；

(3-3)设定一个置信度阈值σ，根据每个图像块的颜色直方图h_ij,c以及颜色直方图h_ij,c的均值对地面的状态进行判断，若则判定地面状态无异常，盲人正常行走，若则判定地面状态为异常，进行步骤(4)；

(4)用盲人导盲仗进行触觉再现，包括以下步骤：

(4-1)通过导盲杖的加速度传感器获取步骤(3-3)中异常地面的加速度信号，对该加速度信号进行短时傅里叶变换，得到与该加速度信号相对应的该地面图像的频谱图；

(4-2)利用LJ Speech数据集对生成对抗网络(MelGAN)进行训练，该生成对抗网络由生成器和判别器组成，其中生成器的目标函数为：

判别器的目标函数为：

其中，x表示真实音频，从LJ Speech数据集中获取，s表示生成器的输入频谱图，从LJSpeech数据集中获取；z表示高斯噪声向量，k表示生成对抗网络中的第k个判别器，λ是特征匹配损失的权重，T表示判别网络的层数，N_i表示第i个判别层的单位神经元数量，上述参数根据训练精度设置；表示第k个判别器的第i个判别层输出的特征图，G(s,z)表示生成器生成的音频，表示生成器的输入频谱图和高斯噪声向量的数学期望，表示真实音频和生成器的输入频谱图的数学期望，D_k(x)表示第k个判别器判别样本为真实音频的概率，表示真实音频的数学期望；

训练过程包括以下步骤：

(4-2-1)对LJ Speech数据集中的音频进行采样，得到采样信号，对采样信号进行短时傅里叶变换得到对应的频谱图；

(4-2-2)向生成对抗网络的生成器输入步骤(4-2-1)的频谱图,输出音频；

(4-2-3)将生成器输出的音频与LJ Speech数据集中的原始音频作为生成对抗网络的判别器的输入，判别器输出一个判别结果，得到判别器的输入音频为真实音频的概率；

(4-2-4)根据生成器和判别器的目标函数，训练由(4-2-2)和(4-2-3)组成的生成对抗网络，得到生成对抗网络的权重；

(4-3)将(4-1)地面图像的频谱图输入到(4-2)训练后的生成对抗网络中，输出得到与步骤(4-1)的加速度信号相对应的音频；

(4-4)将(4-3)得到的音频输出通过功率放大器，产生触觉振动，根据不同的地面触觉振动，提示盲人地面信息，实现导盲杖的地形探测。