[发明专利]一种基于视触融合的室外移动机器人地形识别方法

权利要求书

1.一种基于视触融合的室外移动机器人地形识别方法，其特征在于，包括以下步骤：

1)地形种类选择

根据路面材质选取生活中常见的若干类经典室外地形；

2)构建地形数据库，包括触觉和视觉两种模态数据

2-1)触觉和视觉数据采集

控制移动机器人以不同的速度、光照条件在步骤1)选取的各类地形上行驶，通过移动机器人上搭载的三轴加速度计采集各种场景下的三维振动信号作为触觉数据；同时，通过移动机器人上搭载的摄像机采集与各触觉数据相同场景下的图像作为相应的各视觉数据；

2-2)对采集的各触觉数据和视觉数据进行预处理

2-2-1)触觉数据预处理

对步骤2-1)采集的各种场景下的三维振动信号依次进行分段、数据增强和滤波处理；通过快速傅里叶变换将滤波后的各三维振动信号分别组合成一维振动信号；利用短时傅里叶变换，将各一维振动信号转换到频域，得到对应的加速频谱图像，对该频谱图像进行降采样，统一各频谱图像的大小；

2-2-2)视觉数据预处理

对步骤2-1)采集的各图像分别进行降采样，降采样后的各图像与步骤2-2-1)降采样后的频谱图像大小相同；

2-3)将上述预处理后的所有触觉数据和视觉数据共同构成地形数据库，每一触觉数据分别与一视觉数据相对应；选择地形数据库中70～80％的触觉数据和视觉数据分别作为触觉训练样本集和视觉训练样本集，剩余的触觉数据和视觉数据分别作为触觉测试样本集和视觉测试样本集；

3)构建级联宽度学习网络并使用触觉训练样本集和视觉训练样本集对该级联宽度学习网络进行训练

3-1)构建级联宽度学习网络

所述级联宽度学习网络包括两个并列的级联宽度学习子网络，分别用于触觉特征和视觉特征的提取；各级联宽度学习子网络均分别由m组特征节点和M组增强节点组成，前一组特征节点的输出作为下一组特征节点的输入，第m组特征节点作为各组增强节点的输入；

3-2)使用触觉训练样本集和视觉训练样本集对上述级联宽度学习网络进行训练

3-2-1)触觉和视觉初步特征提取

令用于触觉特征提取的第一级联宽度学习子网络中第i组触觉特征节点F_ci的表达式为：

式中，G是线性激活函数；W_cfi和β_cfi分别为第一级联宽度学习子网络中生成第i组触觉特征节点的权重和偏置；为通过步骤2-3)得到的输入第一级联宽度学习子网络的触觉训练样本集，该触觉训练样本集中共含有N个触觉训练样本，i＝1，2，…，m；

通过上述m组触觉特征节点构成第一级联宽度学习子网络的映射特征集其表达式为：

令用于触觉特征提取的第一级联宽度学习子网络中第j组触觉增强节点E_cj的表达式为：

式中，ξ是非线性激活函数；W_cej和β_cej分别为第一级联宽度学习子网络中生成第j组触觉增强节点的权重和偏置，j＝1，2，…，M；

通过上述M组触觉增强节点构成第一级联宽度学习子网络的增强映射特征集其表达式为：

通过上述映射特征集和增强映射特征集构成第一级联宽度学习子网络的触觉初步特征矩阵H_c，维度为p×N，其表达式为：

记触觉初步特征矩阵H_c内第g个向量为e_g，则H_c＝{e₁，e₂，…，e_g，…，e_N}，g＝1，2，…，N；

令用于视觉特征提取的第二级联宽度学习子网络中第i组视觉特征节点F_si的表达式为：

式中，G是线性激活函数；W_sfi和β_sfi分别为第二级联宽度学习子网络中生成第i组视觉特征节点的权重和偏置；为输入第二级联宽度学习子网络的视觉训练样本集，该视觉训练样本集中共含有N个视觉训练样本，i＝1，2，…，m；

通过上述m组视觉特征节点构成第二级联宽度学习子网络的映射特征集其表达式为：

令用于视觉特征提取的第二级联宽度学习子网络中第j组视觉增强节点E_sj的表达式为：

式中，ξ是非线性激活函数；W_sej和β_sej分别为第二级联宽度学习子网络中生成第j组视觉增强节点的权重和偏置，j＝1，2，…，M；

通过上述M组视觉增强节点构成第二级联宽度学习子网络的增强映射特征集其表达式为：

通过上述映射特征集和增强映射特征集构成第二级联宽度学习子网络的视觉初步特征矩阵H_s，维度为q×N，其表达式为：

记视觉初步特征矩阵H_s内第h个向量为f_h，则H_s＝{f₁，f₂，…，f_h，…，f_N}，h＝1，2，…，N；

3-2-2)触觉和视觉融合特征提取

使用核典型相关分析算法，最大化上述触觉初步特征矩阵H_c和视觉初步特征矩阵H_s之间的相关性，实现融合特征降维，确定两个N维向量α和β，使得两种模态样本的线性组合和的相系数最大，得到融合后的触觉特征矩阵U和视觉特征矩阵V；其中，和是分别将触觉初步特征矩阵H_c和视觉初步特征矩阵H_s映射到非线性特征空间得到；

3-2-3)融合后的触觉特征矩阵U和视觉特征矩阵V经宽度学习分类算法，通过岭回归的广义逆近似求得地形识别分类结果Y作为级联宽度学习网络的输出，级联宽度学习网络训练完毕；其中，所述地形识别分类结果Y的表达式如下：

式中，是宽度学习分类算法的输出权重矩阵，通过以下公式计算得到：

式中，为融合特征矩阵，岭回归算法通过的对角线添加正数来得到等效于广义逆的近似值，I是维度为2n×2n的单位矩阵，λ是L2正则化参数；

4)将触觉测试样本集和视觉测试样本集输入通过步骤3)得到训练完毕的级联宽度学习网络中，得到地形识别的分类结果。