[发明专利]文本多模态表示方法及装置

权利要求书

1.一种文本多模态表示方法，其特征在于，包括：

获取待处理的文本，对所述文本进行识别，获取所述文本对应的文本对象集合，以及所述文本对象集合中各个文本对象对应的文本向量；

针对所述文本对象集合中的每个文本对象，获取与所述文本对象相关的图像集；

根据所述图像集中各个图像对应的图像向量，确定与所述文本对象对应的图像向量；

根据所述文本对象对应的文本向量以及图像向量，确定所述文本对象对应的多模态向量；

根据所述文本对象集合中各个文本对象对应的多模态向量，确定所述文本对应的多模态向量；

在所述文本为图像描述模型输出的各个描述词语所组成的与待描述图像对应的描述文本时，所述根据所述文本对象集合中各个文本对象对应的多模态向量，确定所述文本对应的多模态向量之后，还包括：

将所述描述文本对应的多模态向量以及所述待描述图像对应的图像向量输入所述图像描述模型，获取所述图像描述模型输出的描述词语，将所述描述文本和所述输出的描述词语整合得到描述文本，直至所述图像描述模型输出所有描述词语为止。

2.根据权利要求1所述的方法，其特征在于，所述针对所述文本对象集合中的每个文本对象，获取与所述文本对象相关的图像集，包括：

获取所述文本对象的相关图像；

对所述相关图像进行聚合，得到与所述文本对象的各个义项对应的图像集；

根据所述文本对象以及所述文本，确定所述文本对象的当前义项；

将所述当前义项对应的图像集，确定为与所述文本对象相关的图像集。

3.根据权利要求1所述的方法，其特征在于，所述文本为输入的问题文本；所述文本对象集合中还包括：与所述问题文本对应的候选答案；

所述的方法还包括：

获取与所述问题文本对应的输入图像；

对所述输入图像进行图像识别，获取所述输入图像对应的图像向量；

对所述输入图像对应的图像向量以及所述问题文本对应的多模态向量进行融合以及分类，确定与所述问题文本对应的答案。

4.根据权利要求3所述的方法，其特征在于，所述对所述输入图像对应的图像向量以及所述问题文本对应的多模态向量进行融合以及分类，确定与所述问题文本对应的答案，包括：

将所述输入图像对应的图像向量以及所述问题文本对应的多模态向量输入预设的分类模型，获取所述分类模型输出的各个候选答案的概率；

将对应的概率满足预设条件的候选答案，确定为与所述问题文本对应的答案。

5.根据权利要求1所述的方法，其特征在于，所述获取待处理的文本之前，还包括：

获取输入的待描述图像；

对所述待描述图像进行图像识别，获取所述待描述图像对应的图像向量；

将所述待描述图像对应的图像向量输入所述图像描述模型，获取所述图像描述模型输出的第一个描述词语；

将所述第一个描述词语确定为所述描述文本。

6.一种文本多模态表示装置，其特征在于，包括：

获取模块，用于获取待处理的文本，对所述文本进行识别，获取所述文本对应的文本对象集合，以及所述文本对象集合中各个文本对象对应的文本向量；

所述获取模块，还用于针对所述文本对象集合中的每个文本对象，获取与所述文本对象相关的图像集；

确定模块，用于根据所述图像集中各个图像对应的图像向量，确定与所述文本对象对应的图像向量；

所述确定模块，还用于根据所述文本对象对应的文本向量以及图像向量，确定所述文本对象对应的多模态向量；

所述确定模块，还用于根据所述文本对象集合中各个文本对象对应的多模态向量，确定所述文本对应的多模态向量；

在所述文本为图像描述模型输出的各个描述词语所组成的与待描述图像对应的描述文本时，所述的装置还包括：输入模块，用于将所述描述文本对应的多模态向量以及所述待描述图像对应的图像向量输入所述图像描述模型，获取所述图像描述模型输出的描述词语，将所述描述文本和所述输出的描述词语整合得到描述文本，直至所述图像描述模型输出所有描述词语为止。