[发明专利]多模态信息提取方法、装置、电子设备及存储介质

权利要求书

1.一种多模态信息提取方法，其特征在于，包括：

获取待提取对象的目标图像，所述目标图像包含有图像内容及文本内容；

根据所述目标图像，识别得到所述目标图像中对应的图像区域及文本区域；

根据所述图像区域及所述文本区域，提取得到对应的多模态信息，所述多模态信息包括目标图像及目标文本；

所述根据所述图像区域及所述文本区域，提取得到对应的多模态信息，包括：

对所述图像区域进行搜索、合并及过滤，得到目标图像区域；

根据所述目标图像区域及所述文本区域，提取得到对应的多模态信息；

所述根据所述目标图像区域及所述文本区域，提取得到对应的多模态信息，包括：

根据所述目标图像区域及所述文本区域，识别得到标题文本区域及描述文本区域；

根据所述目标图像区域、所述标题文本区域及所述描述文本区域，提取得到对应的多模态信息；

所述目标文本包括目标标题文本及目标描述文本；

所述根据所述目标图像区域及所述文本区域，识别得到标题文本区域及描述文本区域，包括：

获取各个所述目标图像区域的位置信息；

根据各个所述目标图像区域的位置信息，以预设的搜索距离及预设的搜索区域进行文本搜索，得到疑似标题文本区域；

根据所述疑似标题文本区域的面积、长及宽，识别得到标题文本区域及描述文本区域。

2.根据权利要求1所述的多模态信息提取方法，其特征在于，所述获取待提取对象的目标图像，包括：

获取待提取对象的初始图像；

对所述初始图像进行预处理，得到待提取对象的目标图像。

3.根据权利要求1所述的多模态信息提取方法，其特征在于，所述根据所述目标图像，识别得到所述目标图像中对应的图像区域及文本区域，包括：

根据所述目标图像中各个连通域的面积及预设的连通域分割阈值，识别得到所述目标图像中对应的图像区域及文本区域。

4.根据权利要求1所述的多模态信息提取方法，其特征在于，所述根据所述目标图像区域、所述标题文本区域及所述描述文本区域，提取得到对应的多模态信息，包括：

将对应的所述目标图像区域、所述标题文本区域及所述描述文本区域进行关联；

根据关联后的目标图像区域、标题文本区域及描述文本区域，提取得到对应的多模态信息；

对应的所述目标图像、所述目标标题文本及所述目标描述文本，组成对应的图文信息对。

5.一种多模态信息提取装置，其特征在于，包括：

获取模块，用于获取待提取对象的目标图像，所述目标图像包含有图像内容及文本内容；

识别模块，用于根据所述目标图像，识别得到所述目标图像中对应的图像区域及文本区域；

提取模块，用于根据所述图像区域及所述文本区域，提取得到对应的多模态信息，所述多模态信息包括目标图像及目标文本；

所述提取模块，具体用于对所述图像区域进行搜索、合并及过滤，得到目标图像区域；根据所述目标图像区域及所述文本区域，提取得到对应的多模态信息；

所述提取模块在根据所述目标图像区域及所述文本区域，提取得到对应的多模态信息时，根据所述目标图像区域及所述文本区域，识别得到标题文本区域及描述文本区域；

根据所述目标图像区域、所述标题文本区域及所述描述文本区域，提取得到对应的多模态信息；

所述目标文本包括目标标题文本及目标描述文本；

所述提取模块在根据所述目标图像区域及所述文本区域，识别得到标题文本区域及描述文本区域时，获取各个所述目标图像区域的位置信息；

根据各个所述目标图像区域的位置信息，以预设的搜索距离及预设的搜索区域进行文本搜索，得到疑似标题文本区域；

根据所述疑似标题文本区域的面积、长及宽，识别得到标题文本区域及描述文本区域。

6.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至4中任一项所述的多模态信息提取方法。

7.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的多模态信息提取方法。