[发明专利]一种基于图像识别与文本融合的博物馆展品智能导览方法

摘要

本发明提供一种基于图像识别与文本融合的博物馆展品智能导览方法，涉及图像识别与文本融合技术领域。本发明步骤如下：步骤1：收集展品图像，得到展品图片集合；步骤2：建立基于卷积神经网络结构的识别模型；使用图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；步骤3：根据识别结果作为关键词进行相关资讯的爬取收集，获得资讯数据集；步骤4：获取的资讯数据集中提取摘要T；步骤5：将步骤4中得到的摘要T进行资讯融合；本方法能够提高参观者参观体验，降低博物馆日常运营费用，减少人力成本。

主权项

1.一种基于图像识别与文本融合的博物馆展品智能导览方法，其特征在于：包括如下步骤：步骤1：收集展品图像，将所有图像调整成统一大小，并对图片进行数据增强处理，得到展品图片集合，所述展品图片集合中的图片为带有正确分类标签的图片；步骤2：建立基于卷积神经网络结构的识别模型；将VGG网络结构模型中的特征提取层以及分类层参数作为基于卷积神经网络结构的初始识别模型中的参数；使用步骤1的展品图片集合中的图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；步骤3：根据步骤2中得到的识别结果作为关键词进行相关资讯的爬取收集；将识别结果根据爬虫技术做关键词分割，根据分割后的关键词在百度上收集资讯，获得资讯数据集；步骤4：获取的资讯数据集中提取摘要T；运用抽取式的方式进行摘要的生成，去除资讯数据集中冗余的信息，将其主要内容提取出来；将步骤3中资讯数据集中的句子排成句子序列A₁、A₂、…、A_n组成文档D，n为句子总数,通过根据概率选取D中的m个句子组成摘要T；概率选取方法为：Extractive式摘要生成模型包括句子编码器、文档编码器以及句子提取器；其中，句子编码器中使用word2vec得到每个单词的200维向量并使用卷积与池化操作得到句子的编码向量；在文档编码器中使用LSTM网络，句子提取器部分将关键词作为额外信息，参与为句子评分的过程，最终目标是使含有关键词的句子获得更高的得分，即：其中，，u₀、W_e、w′_e为单隐层的神经网络的参数，r代表A_n被选入摘要的概率，代表μ时刻的句子A_n，h_μ为μ时刻LSTM网络的中间状态，h_μ′代表关键词的加权和，b为关键词的个数，K为每句话被选择到摘要T的概率，概率越大，句子A_n出现在T中的可能性越大；c_i为关键字，当句子中含有的关键词越多，h_μ′越大，最后该句子选入摘要中的概率也就更大；步骤5：将步骤4中得到的摘要T进行资讯融合；将摘要S中的句子融合成有逻辑的语段，采用段落模板结合描述逻辑的方法，通过定义描述逻辑，并匹配预先定义好的段落描述模板将摘要T中的句子融合为一个完整并且有意义的段落；所述段落模板为以时间为逻辑或地点、人物为逻辑。