[发明专利]基于语义相似度匹配的多模态融合表征方法及系统

权利要求书

1.一种基于语义相似度匹配的多模态融合表征方法，其特征在于，包括以下步骤：

获取目标文本，将所述目标文本进行预处理，提取目标文本中的特征词；

将所述特征词分别基于词典、图片及文本进行扩展，获取拓展词典向量、拓展图片向量及拓展文本向量，生成对应特征向量；

根据当前检索场景获取基准词，将所述基准词与特征向量进行遍历比较，根据相似度计算获取匹配程度，过滤得到匹配程度最高的特征向量；

将词典特征向量、图片特征向量及文本特征向量进行多模态加权融合，形成当前检索场景下的特征词多模态特征向量；

将特征词基于词典进行扩展，获取若干拓展词典向量，生成对应特征向量，具体为：

获取目标文本的特征词的词向量，通过所述特征词的词向量分析语义信息，基于预设词典进行语义拓展；

根据预设词典生成拓展词数据集合，通过聚类方法对所述拓展词数据集合进行分析，利用特征词的词向量作为初始聚类中心；

获取拓展词数据集合中各拓展词向量到初始聚类中心的欧式距离，将各拓展词向量归于最近的初始聚类中心构成聚类结果；

当拓展词数据集合中所有拓展词向量聚类结束后，在特征词的词向量对应的各个聚类结果中进行距离均值计算，获取新的聚类中心，当迭代次数达到预设标准后，结束聚类操作；

根据最后一次迭代运算获取各个特征词的词向量对应的聚类结果，在各个聚类结果中，获取对应的拓展词典语义，生成语义的词向量；

根据当前检索场景获取基准词，根据基准词与语义词向量的相似度计算语义的词向量的匹配程度，筛选符合标准的拓展词典向量，并生成词典特征向量。

2.根据权利要求1所述的一种基于语义相似度匹配的多模态融合表征方法，其特征在于，获取目标文本，将所述目标文本进行预处理，提取目标文本中的特征词，具体为：

获取科技成果的描述文本作为目标文本，将所述目标文本进行分词，获取对应分词结果，在所述分词结果中去停用词后对文本进行表示，利用词嵌入模型生成对应的词向量；

将原始特征空间中的词向量进行空间映射，转换到低维特征空间，判断不同词向量在目标文本中的出现频率，根据预设频率阈值进行词向量的筛选；

若词向量的出现频率大于等于预设频率阈值，则将对应词向量作为关键词，若词向量的出现频率小于预设频率阈值，则视为低频词进行滤除；

获取各关键词的位置信息，对标题位置及非标题位置设置不同的权重值，根据所述各关键词的位置信息获取关键词的位置权重；

确定科技成果对应目标文本的类别信息，根据所述类别信息利用大数据手段检索类别语料，获取某一关键词在对应类别语料的出现频率，获取关键词的类别权重；

基于关键词的位置权重及类别权重进行特征词筛选，将符合预设标准的关键词作为目标文本中的特征词。

3.根据权利要求1所述的一种基于语义相似度匹配的多模态融合表征方法，其特征在于，将特征词基于图片进行扩展，获取拓展图片向量，生成对应特征向量，具体为：

根据特征词构建检索任务获取拓展图片集合，将拓展图片集合中的拓展图片数据进行预处理；

基于注意力机制优化的ResNet50网络构建图片特征提取模型，将预处理后的拓展图片数据导入图片特征提取模型；

通过卷积获取拓展图片数据的特征，对特征进行平均池化实现特征的压缩，对压缩后的特征进行激励，预测各通道的重要性，并利用注意力机制获取各通道的权重；

对特征通道进行加权，对拓展图片数据的特征进行重新标定，输出拓展图片数据的特征，根据拓展图片数据的特征获取拓展图片向量，与基准词进行相似度计算获取拓展图片的匹配程度；

筛选符合标准的拓展图片向量，生成图片特征向量。