[发明专利]基于语义相似度匹配的多模态融合表征方法及系统

说明书

本发明公开了一种基于语义相似度匹配的多模态融合表征方法及系统，包括：获取目标文本，进行预处理提取目标文本中的特征词；将特征词分别基于词典、图片及文本进行扩展，获取若干拓展词典向量、拓展图片向量及拓展文本向量，生成对应特征向量；根据当前检索场景获取基准词，与特征向量进行遍历比较，根据相似度计算获取匹配程度，过滤得到匹配程度最高的特征向量；将词典特征向量、图片特征向量及文本特征向量进行多模态加权融合，形成当前检索场景下的特征词多模态特征向量。本方法通过多语义过滤及多模态特征表征，有效提高科技成果等复杂文本的量化表征，提升推荐及聚类系统性能。

技术领域

本发明涉及人工智能领域，更具体的，涉及一种基于语义相似度匹配的多模态融合表征方法及系统。

背景技术

随着科学技术的高速发展，科研成果数量呈现爆炸式的增长。据相关统计，国内外论文总数已超过3亿篇，每天还有近万篇新的学术论文、专利、研究报告、项目成果被公开发表。海量的科技成果数据给科技创新活动提供了丰富的数据资源，然而这些数据专业性强，分类难度大，面临语义信息抽取困难，关联关系难以挖掘，相关信息无法扩充等问题，为科技成果的智能分析和查询带来了全新的挑战，也是成果转化平台对接中亟需解决的技术难题。

在科技成果转化平台中，成果的特征实体提取是所有数据处理的核心基础，包括成果推荐、成果模糊检索，成果聚类，成果拓展等，都离不开精准的特征提取。而直接从成果的描述文本中提取实体词，面临提取精度低，词义特征不明确等多重问题，因此针对复杂文本、多语义等特征，如何提供一种基于多模态的特征提取方法是亟不可待需要解决的问题。

发明内容

为了解决上述至少一个技术问题，本发明提出了一种基于语义相似度匹配的多模态融合表征方法及系统。

本发明第一方面提供了一种基于语义相似度匹配的多模态融合表征方法，包括：

获取目标文本，将所述目标文本进行预处理，提取目标文本中的特征词；

将所述特征词分别基于词典、图片及文本进行扩展，获取拓展词典向量、拓展图片向量及拓展文本向量，生成对应特征向量；

根据当前检索场景获取基准词，将所述基准词与特征向量进行遍历比较，根据相似度计算获取匹配程度，过滤得到匹配程度最高的特征向量；

将词典特征向量、图片特征向量及文本特征向量进行多模态加权融合，形成当前检索场景下的特征词多模态特征向量。

本方案中，获取目标文本，将所述目标文本进行预处理，提取目标文本中的特征词，具体为：

获取科技成果的描述文本作为目标文本，将所述目标文本进行分词，获取对应分词结果，在所述分词结果中去停用词后对文本进行表示，利用词嵌入模型生成对应的词向量；

将原始特征空间中的词向量进行空间映射，转换到低维特征空间，判断不同词向量在目标文本中的出现频率，根据预设频率阈值进行词向量的筛选；

若词向量的出现频率大于等于预设频率阈值，则将对应词向量作为关键词，若词向量的出现频率小于预设频率阈值，则视为低频词进行滤除；

获取各关键词的位置信息，对标题位置及非标题位置设置不同的权重值，根据所述各关键词的位置信息获取关键词的位置权重；

确定科技成果对应目标文本的类别信息，根据所述类别信息利用大数据手段检索类别语料，获取某一关键词在对应类别语料的出现频率，获取关键词的类别权重；

基于关键词的位置权重及类别权重进行特征词筛选，将符合预设标准的关键词作为目标文本中的特征词。

本方案中，将特征词基于词典进行扩展，获取若干拓展词典向量，生成对应特征向量，具体为：