[发明专利]视觉问答方法、装置、电子设备和存储介质

说明书

本公开提供了一种视觉问答方法、装置、电子设备和存储介质，涉及人工智能领域，具体涉及深度学习、图像处理和计算机视觉技术领域，可应用于OCR等场景中。视觉问答方法的具体实现方案为：识别目标图像包括的文本，得到目标文本及目标文本在目标图像中的位置信息；根据位置信息提取目标图像的图像特征，得到针对目标文本的视觉特征序列；对根据目标文本和针对目标图像的问题文本得到的词序列进行编码，得到文本特征序列；以及根据文本特征序列和视觉特征序列构成的第一特征序列，确定针对问题文本的答案文本。

技术领域

本公开涉及人工智能领域，具体涉及深度学习、图像处理和计算机视觉技术领域，可应用于OCR(Optical Character Recognition，光学字符识别)等场景下。

背景技术

随着计算机技术和网络技术的发展，深度学习技术在众多领域得到了广泛应用。例如，可以采用深度学习技术对图像进行识别，以解答与该图像相关的问题。

发明内容

本公开旨在提供一种提高视觉问答效果和问答精度的视觉问答方法、装置、电子设备和存储介质。

根据本公开的一个方面，提供了一种视觉问答方法，包括：识别目标图像包括的文本，得到目标文本及目标文本在目标图像中的位置信息；根据位置信息提取目标图像的图像特征，得到针对目标文本的视觉特征序列；对根据目标文本和针对目标图像的问题文本得到的词序列进行编码，得到文本特征序列；以及根据文本特征序列和视觉特征序列构成的第一特征序列，确定针对问题文本的答案文本。

根据本公开的一个方面，提供了一种视觉问答装置，包括：文本识别模块，用于识别目标图像包括的文本，得到目标文本及目标文本在目标图像中的位置信息；图像特征提取模块，用于根据位置信息提取目标图像的图像特征，得到针对目标文本的视觉特征序列；词编码模块，用于对根据目标文本和针对目标图像的问题文本得到的词序列进行编码，得到文本特征序列；以及答案确定模块，用于根据文本特征序列和视觉特征序列构成的第一特征序列，确定针对问题文本的答案文本。

根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的视觉问答方法。

根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的视觉问答方法。

根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的视觉问答方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的视觉问答方法和装置的应用场景示意图；

图2是根据本公开实施例的视觉问答方法的流程示意图；

图3是根据本公开实施例的得到视觉特征序列的原理示意图；

图4是根据本公开第一实施例的视觉问答方法的原理示意图；

图5是根据本公开第二实施例的视觉问答方法的原理示意图；

图6是根据本公开实施例的确定答案文本的原理示意图；

图7是根据本公开另一实施例的确定答案文本的原理示意图；

图8是根据本公开实施例的视觉问答装置的结构框图；以及