[发明专利]一种语义信息融合方法、装置、电子设备及存储介质

说明书

本申请实施例提供一种语义信息融合方法、装置、电子设备及存储介质，涉及语义信息融合技术领域。该方法包括利用语言模型根据每个类别单词对应的第一词嵌入向量获取句子的第二词嵌入向量；通过语料库获得每个类别单词对应的视觉特征描述；根据所述视觉特征描述获取融合视觉特征的句嵌入向量；将所述第二词嵌入向量和所述句嵌入向量按照预设的比例系数进行融合，以生成融合视觉特征后的词嵌入向量，在原有类别单词的词嵌入向量基础上，补充其他类别的视觉特征信息，从而缓解语义间隔造成的影响，解决现有方法中导致语义间隔的问题。

技术领域

本申请涉及语义信息融合技术领域，具体而言，涉及一种语义信息融合方法、装置、电子设备及存储介质。

背景技术

目前在零样本图像分类任务中常使用词嵌入向量和属性向量这两种语义向量来表征类别，但普遍具有单词可能会产生歧义性和词嵌入向量与类别的视觉特征没有必然联系两个问题，从而导致语义间隔问题。

发明内容

本申请实施例的目的在于提供一种语义信息融合方法、装置、电子设备及存储介质，在原有类别单词的词嵌入向量基础上，补充其他类别的视觉特征信息，从而缓解语义间隔造成的影响，解决现有方法中导致语义间隔的问题。

本申请实施例提供了一种语义信息融合方法，所述方法包括：

利用语言模型根据每个类别单词对应的第一词嵌入向量获取句子的第二词嵌入向量；

通过语料库获得每个类别单词对应的视觉特征描述；

根据所述视觉特征描述获取融合视觉特征的句嵌入向量；

将所述第二词嵌入向量和所述句嵌入向量按照预设的比例系数进行融合，以生成融合视觉特征后的词嵌入向量。

在上述实现过程中，通过SIF算法融入视觉特征信息生成的词嵌入向量不仅具有较强的语义性，且在语义空间中与相近的类别也会更加相似，有效缓解语义间隔带来的影响。

进一步地，所述利用语言模型根据每个类别单词对应的第一词嵌入向量获取句子的第二词嵌入向量，包括：

通过Word2Vec模型或GloVe模型获取每个类别单词的第一词嵌入向量；

根据所述第一词嵌入向量利用词袋模型获取句子的第二词嵌入向量；

所述第二词嵌入向量表示为：

其中，v_s表示所述句子的第二词嵌入向量，n表示所述句子中的单词总数，v_i表示所述句子的第i个单词的第一词嵌入向量。

在上述实现过程中，词袋模型不需要考虑文法以及单词的顺序，将一句话或一段文本中的所有单词的第一词嵌入向量取平均值用来作为整个类别的类别语义向量，因此计算简单高效，且减少高频词汇的贡献，增加低频词汇的贡献，从而反映句子主题。

进一步地，所述通过语料库获得每个类别单词对应的视觉特征描述，包括：

通过爬虫的方式采集网络数据库中的视觉特征信息，以生成语料库；

获取所述语料库中的每个类别单词对应的视觉特征描述。

在上述实现过程中，通过爬虫可采集到每个类别单词对应的视觉特征描述。

进一步地，所述根据所述视觉特征描述获取融合视觉特征的句嵌入向量，包括：

对所述视觉特征描述进行学习，以获取所述视觉特征描述的第三词嵌入向量；

利用Sent2Vec模型并结合n-gram的词和所述第三词嵌入向量，以获得所述句嵌入向量；

所述句嵌入向量表示为：