[发明专利]用于问答的方法、装置、设备和存储介质

说明书

本公开的实施例提供了用于问答的方法、装置、设备和存储介质。一种问答方法包括：响应于检测到问答发起操作，利用用户的设备捕获图像数据和针对图像数据的提问；从图像数据提取文本信息；获取与文本信息相关联的扩展信息；以及基于图像数据和扩展信息来确定针对提问的目标回答。以此方式，能够在多模态数据的问答场景中，引入知识库来扩展对提问的准确回答能力。由此，可以在图像数据不全、不足时也能够为用户提供即时、准确的问答服务。

技术领域

本公开的示例实施例总体涉及计算机领域，特别地涉及用于问答的方法、装置、设备和计算机可读存储介质。

背景技术

随着信息技术的飞速发展，越来越多的应用均提供问答功能，给广大用户带来了诸多便利。具有问答功能的应用可以基于用户输入的语音或文字输出对应的回答。具有多模态的视觉语言问答(Visual Question Answering，VQA)功能的应用还可以根据用户输入的图像，基于语音提问来输出针对该图像的回答音频。

发明内容

在本公开的第一方面，提供了一种问答方法。该方法包括：响应于检测到问答发起操作，利用用户的设备捕获图像数据和针对图像数据的提问；从图像数据提取文本信息；获取与文本信息相关联的扩展信息；以及基于图像数据和扩展信息来确定针对提问的目标回答。

在本公开的第二方面，提供了一种用于问答的装置。该装置包括：数据捕获模块，被配置为响应于检测到问答发起操作，利用用户的设备捕获图像数据和针对图像数据的提问；文本信息提取模块，被配置为从图像数据提取文本信息；扩展信息获取模块，被配置为获取与文本信息相关联的扩展信息；以及目标回答确定模块，被配置为基于图像数据和扩展信息来确定针对提问的目标回答。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使电子设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面的方法。

应当理解，该部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了能够在其中实现本公开的实施例的示例环境的示意图；

图2示出了根据本公开的一些实施例的问答的过程的流程图；

图3示出了根据本公开的一些实施例的问答界面的示意图；

图4示出了根据本公开的一些实施例的问答的流程的示意图；

图5示出了根据本公开的一些实施例的应用问答的装置的示意性结构框图；以及

图6示出了可以实施本公开的一个或多个实施例的电子设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。