[发明专利]基于ESN神经网络的移动机器人场景识别方法

权利要求书

1.一种基于ESN神经网络的移动机器人场景识别方法，其特征在于，包括如下步骤：

1)从构成场景的图像序列中，提取ORB特征点，再从提取到的ORB特征点中，提取PIRF特征点；包括：

(1)设有图像序列I＝{I₁,I₂,I₃,…,I_i,…,I_N},对于每幅图像I_i分别提取ORB特征点，每个ORB特征点都用一个特征向量来表示，得到每幅图像I_i的ORB特征点的集合S_i＝{S_i1,S_i2,S_i3,…,S_in}；

(2)分别从每幅图像I_i的ORB特征点的集合S_i＝{S_i1,S_i2,S_i3,…,S_in}中，提取PIRF特征点，分别得到每幅图像I_i的PIRF特征点的集合P_i＝{P_i1,P_i2,P_i3,…,P_im}；

2)对从图像序列中提取的PIRF特征点，使用词袋模型建立词袋码本，使用词袋码本为图像序列中的每幅图像计算编码向量；包括：

(1)对从所有图像中提取到的全部PIRF特征点使用K-means聚类的方法进行聚类，设聚类后的集合WP为：

WP＝{WP₁,WP₂,WP₃,…,WP_i,…,WP_K}

则词袋码本即为WP，其中WP_i被称为第i个词条；

(2)使用词袋码本为图像序列中的每幅图像I_i计算编码向量，包括：

(2.1)设从图像I_i中提取到的PIRF特征点集合为P_i＝{P_i1,P_i2,P_i3,…,P_ij,…,P_im}，对其中的每个PIRF特征点P_ij，在集合WP中找到与该特征点P_ij欧氏距离最小的词条，最后得到与所有特征点欧氏距离最小的词条集合H_i＝{WP_i1,WP_i2,WP_i3,…,WP_ij,…WP_im}，其中WP_ij表示集合WP中与特征点P_ij欧氏距离最小的词条，WP_ij∈WP；

(2.1)对词条集合H_i中的元素做频率统计，得到统计向量T_i＝{T_i1,T_i2,T_i3,…,T_in,…，T_iK}，其中T_in表示第n个词条在集合H_i中出现的频率；称统计向量T_i为图像I_i的编码向量；

3)构建ESN神经网络，以每幅图像的编码向量作为ESN神经网络的输入，在线训练ESN神经网络，根据输出结果识别和提取图像序列中的场景信息；包括：

(1)建立一个ESN神经网络，表示为：

scene＝f(para,T)

其中，T为一幅图像的编码向量，scene是ESN神经网络的输出结果，是一个设定维度的向量，para表示ESN神经网络的相关参数；

(2)从图像序列I＝{I₁,I₂,I₃,…,I_i,…,I_N}中取出前m幅图像{I₁,I₂,I₃,…,I_m}，分别计算每幅图像的编码向量{T₁,T₂,T₃,…,T_m}，并将计算得到的编码向量作为训练样本，对ESN神经网络进行训练，设训练完成后ESN神经网络的参数为para_1,2,3,…,m，设第m幅图像的编码向量T_m的输出结果为scene_m，令SC_current＝scene_m；

(3)分别创建集合SC和集合Para，将scene_m加入到集合SC中，将para_1,2,3,…,m加入到集合Para中，设scene_m与para_1,2,3,…,m相对应；

(4)对图像序列中剩余的图像分别做以下处理，具体为：

(4.1)设当前处理的图像为I_n，编码向量为T_n；把编码向量T_n输入到ESN神经网络中，得到输出结果记为scene_n；

(4.2)将scene_n与SC_current做比较，若两者的欧氏距离小于设定阈值，则返回第(4.1)步继续处理下一张图像，否则进入下一步；

(4.3)用图像序列{I_n,I_n+1,I_n+2,…,I_n+c}中的每一个图像的编码向量T_n,T_n+1,T_n+2,…,T_n+c作为训练样本，对ESN神经网络进行训练，设训练完成后的ESN神经网络的参数为para_{n,n+1,…,n+c}，其中，编码向量T_n+c的输出结果为scene_n+c，将scene_n+c与集合SC的元素做比较，如果scene_n+c与集合SC中的每个元素的欧氏距离均大于预先设定的阈值，则将scene_n+c作为新元素加入到集合SC中，将para_{n,n+1,…,n+c}作为新元素加入到集合Para中，设scene_n+c与para_{n,n+1,…,n+c}相对应，否则，找出集合SC中与scene_n欧氏距离最小的元素，设为scene_min；在集合Para中找到与scene_min对应的元素，记为para_min，用para_min替换当前的ESN神经网络参数，令SC_current＝scene_min；

(4.4)对所有图像处理完毕后，得到集合SC，以及所有图像的输出结果。