[发明专利]一种基于辅助信息的盲人导航方法及装置

权利要求书

1.一种基于辅助信息的盲人导航方法，其特征在于，包括以下步骤：

获取360度范围内N个不同方向的视频图像i_t，t＝1,2,…,N；

利用第一卷积神经网络对所述视频图像进行特征提取，并将提取的特征输入到第一LSTM进行融合，得到图像融合特征o_t＝LSTM(Conv(i_t))，Conv表示卷积运算；

利用第二卷积神经网络对o_t进行分类，得到L个可能预测方向，每个可能预测方向与一个c_l的方向相同，l＝1,2,…,L，c_l为分别位于L个相邻扇区内使其扇区内softmax(Conv(o_t))最大且最大值大于设定阈值的o_t，softmax为激励函数；

对包含辅助导航信息的文本进行特征提取、融合，得到文本融合特征，利用交叉注意力机制对文本融合特征和图像融合特征进行交叉融合，得到跨模态融合特征向量f；

将f与{c₁,c₂,…,c_L}关联，选出与辅助导航信息最相符的c_l，1≤l≤L，第l个可能预测方向就是最终的导航预测方向。

2.根据权利要求1所述的基于辅助信息的盲人导航方法，其特征在于，按以下方法得到跨模态融合特征向量f：

将包含辅助导航信息的文本输入到Bert或Word2Vec模型中，得到文本嵌入特征E(w_i)，E表示嵌入模型，w_i为第i个单词或汉字，i＝1,2,…,M，M为文本中单词或汉字的数量；

将E(w_i)输入双向LSTM，得到上下文相关的文本融合特征表示f_i^T＝BiLSTM(E(w_i))，BiLSTM表示进行双向LSTM运算；

利用第一注意力模块进行文本跨模态融合，通过图像特征筛选重要的文本特征

式中，Att表示注意力运算，当输入长度为n的特征序列{f₁,f₂,…,f_n}和特征向量q时，其输出为：

α_i＝softmax(f_iW_attq)

式中，W_att为训练参数；

按以下方法得到：

利用第二注意力模块进行图像跨模态融合，通过文本特征筛选重要的图像特征f_t^V：

将f_t^V输入到第二LSTM得到

将和融合后得到：

3.根据权利要求2所述的基于辅助信息的盲人导航方法，其特征在于，确定最终导航预测方向的方法具体包括：

将f和{c₁,c₂,…,c_L}输入第三注意力模块，得到注意力分布为：

α'_i＝softmax(c_iW_attf)，i＝1,2,…,L

如果c_i＝c_l时α_i'取最大值，则第l个可能预测方向为最终的导航预测方向。

4.根据权利要求1所述的基于辅助信息的盲人导航方法，其特征在于，通过语音模块获取包含辅助导航信息的文本。

5.根据权利要求1所述的基于辅助信息的盲人导航方法，其特征在于，N＝36，L＝6。