[发明专利]多模态信息提取方法、装置、电子设备及存储介质

说明书

本申请提供一种多模态信息提取方法、装置、电子设备及存储介质，多模态信息提取方法，包括：获取待提取对象的目标图像，所述目标图像包含有图像内容及文本内容；根据所述目标图像，识别得到所述目标图像中对应的图像区域及文本区域；根据所述图像区域及所述文本区域，提取得到对应的多模态信息，所述多模态信息包括目标图像及目标文本。本申请多模态信息提取方法、装置、电子设备及存储介质，可自动地提取得到来自待提取对象的多模态信息，进而可以大大地减少多模态信息提取时的人工作业量，降低人力成本，并且，也较为适用于印刷体图文资料的多模态信息的提取。

技术领域

本申请涉及信息提取技术领域，具体而言，涉及一种多模态信息提取方法、装置、电子设备及存储介质。

背景技术

多模态学习，即多模态机器学习，其是现今人工智能领域的重点突破方向之一，多模态机器学习旨在通过机器学习的方法实现处理和理解多源模态信息的能力，当前，多模态学习中比较热门的研究方向为图像、视频、音频、语义之间的多模态学习。

多模态学习通常都需要一份高质量的多模态数据集加以训练，以保障多模态学习在具体应用时能取得理想的效果。目前，高质量的多模态数据集大多都是通用领域的数据集，涉及到具体领域、具体行业的数据集较少，而实际上各个领域、各个行业在长期发展的过程中已积累了海量的专业印刷体图文资料，例如，专业书籍及各种文件材料等，多模态数据需要对多模态信息进行提取，现有的多模态信息的提取主要为人工提取，然而，人工提取的方式需要大量的人工参与收集和标注，导致人力成本过高，并且，人工提取的方式在印刷体图文资料的多模态信息的提取上也较为繁琐与耗时。

发明内容

本申请实施例的目的在于提供一种多模态信息提取方法、装置、电子设备及存储介质，可自动地提取得到来自待提取对象的多模态信息，进而可以大大地减少多模态信息提取时的人工作业量，降低人力成本，并且，也较为适用于印刷体图文资料的多模态信息的提取。

第一方面，本申请实施例提供了一种多模态信息提取方法，包括：

获取待提取对象的目标图像，所述目标图像包含有图像内容及文本内容；

根据所述目标图像，识别得到所述目标图像中对应的图像区域及文本区域；

根据所述图像区域及所述文本区域，提取得到对应的多模态信息，所述多模态信息包括目标图像及目标文本。

在上述实现过程中，本申请实施例的多模态信息提取方法，通过获取的待提取对象的目标图像，识别得到目标图像中对应的图像区域及文本区域，并根据图像区域及文本区域，自动地提取得到对应的多模态信息，多模态信息来自待提取对象，多模态信息包括了目标图像及目标文本，进而可以大大地减少多模态信息提取时的人工作业量，降低人力成本，并且，本申请实施例的多模态信息提取方法也较为适用于印刷体图文资料的多模态信息的提取，可较为便于对印刷体图文资料的多模态信息的提取。

进一步地，所述获取待提取对象的目标图像，包括：

获取待提取对象的初始图像；

对所述初始图像进行预处理，得到待提取对象的目标图像。

在上述实现过程中，该方法对待提取对象的初始图像进行预处理，可以较好地得到待提取对象的目标图像，并且，得到的待提取对象的目标图像也可较为便于多模态信息的提取以及保障提取的多模态信息的质量。

进一步地，所述根据所述目标图像，识别得到所述目标图像中对应的图像区域及文本区域，包括：

根据所述目标图像中各个连通域的面积及预设的连通域分割阈值，识别得到所述目标图像中对应的图像区域及文本区域。

在上述实现过程中，该方法通过待提取对象的目标图像中各个连通域的面积及预设的连通域分割阈值，可以较为快速、准确地识别得到目标图像中对应的图像区域及文本区域，进而可以更为便于多模态信息的提取。