[发明专利]一种语义信息融合方法、装置、电子设备及存储介质

权利要求书

1.一种语义信息融合方法，其特征在于，所述方法包括：

利用语言模型根据每个类别单词对应的第一词嵌入向量获取句子的第二词嵌入向量；

通过语料库获得每个类别单词对应的视觉特征描述；

根据所述视觉特征描述获取融合视觉特征的句嵌入向量；

将所述第二词嵌入向量和所述句嵌入向量按照预设的比例系数进行融合，以生成融合视觉特征后的词嵌入向量。

2.根据权利要求1所述的语义信息融合方法，其特征在于，所述利用语言模型根据每个类别单词对应的第一词嵌入向量获取句子的第二词嵌入向量，包括：

通过Word2Vec模型或GloVe模型获取每个类别单词的第一词嵌入向量；

根据所述第一词嵌入向量利用词袋模型获取句子的第二词嵌入向量；

所述第二词嵌入向量表示为：

其中，v_s表示所述句子的第二词嵌入向量，n表示所述句子中的单词总数，v_i表示所述句子的第i个单词的第一词嵌入向量。

3.根据权利要求1所述的语义信息融合方法，其特征在于，所述通过语料库获得每个类别单词对应的视觉特征描述，包括：

通过爬虫的方式采集网络数据库中的视觉特征信息，以生成语料库；

获取所述语料库中的每个类别单词对应的视觉特征描述。

4.根据权利要求1所述的语义信息融合方法，其特征在于，所述根据所述视觉特征描述获取融合视觉特征的句嵌入向量，包括：

对所述视觉特征描述进行学习，以获取所述视觉特征描述的第三词嵌入向量；

利用Sent2Vec模型并结合n-gram的词和所述第三词嵌入向量，以获得所述句嵌入向量；

所述句嵌入向量表示为：

其中，R(W)表示句子W中出现n-gram的列表，v_w表示单词w的第一词嵌入向量，v_W表示句子W的句嵌入向量。

5.根据权利要求4所述的语义信息融合方法，其特征在于，所述将所述第二词嵌入向量和所述句嵌入向量按照预设的比例系数进行融合，以生成融合视觉特征后的词嵌入向量，包括：

获取所述比例系数，以生成词嵌入向量；

所述词嵌入向量表示为：

v_f＝αv_we+(1-α)v_s；

其中，v_f表示所述词嵌入向量，v_s表示所述第二词嵌入向量，v_we表示句嵌入向量，α表示所述第二词嵌入向量和所述句嵌入向量融合的比例系数。

6.一种语义信息融合装置，其特征在于，所述装置包括：

词向量获取模块，用于利用语言模型根据每个类别单词对应的第一词嵌入向量获取句子的第二词嵌入向量；

视觉特征描述获取模块，用于通过语料库获得每个类别单词对应的视觉特征描述；

句向量获取模块，用于根据所述视觉特征描述获取融合视觉特征的句嵌入向量；

融合模块，用于将所述第二词嵌入向量和所述句嵌入向量按照预设的比例系数进行融合，以生成融合视觉特征后的词嵌入向量。

7.根据权利要求6所述的语义信息融合装置，其特征在于，所述句向量获取模块包括：

学习模块，用于对所述视觉特征描述进行学习，以获取所述视觉特征描述的第三词嵌入向量；

句向量获取模块，用于利用Sent2Vec模型并结合n-gram的词和所述第三词嵌入向量，以获得所述句嵌入向量；

所述句嵌入向量表示为：

其中，R(W)表示句子W中出现n-gram的列表，v_w表示单词w的第三词嵌入向量，v_W表示句子W的句嵌入向量。