[发明专利]用于问答的方法、装置、设备和存储介质

权利要求书

1.一种问答方法，包括：

响应于检测到问答发起操作，利用用户的设备捕获图像数据和针对所述图像数据的提问；

从所述图像数据提取文本信息；

获取与所述文本信息相关联的扩展信息；以及

基于所述图像数据和所述扩展信息来确定针对所述提问的目标回答。

2.根据权利要求1所述的方法，其中获取所述扩展信息包括：

从所述文本信息确定至少一个关键词；以及

从知识库取得与所述至少一个关键词相关联的所述扩展信息。

3.根据权利要求2所述的方法，其中所述知识库包括对应多个领域的多个候选知识库，并且从所述知识库中取得所述扩展信息包括：

确定所述图像数据或所述文本信息对应的目标领域；

从所述多个候选知识库确定与所述目标领域对应的目标知识库；以及

从所述目标知识库取得与所述至少一个关键词相关联的所述扩展信息。

4.根据权利要求2所述的方法，其中所述知识库包括知识图谱。

5.根据权利要求1所述的方法，其中获取所述扩展信息包括：

确定从所述图像数据是否能够确定针对所述提问的目标回答；以及

如果从所述图像数据无法确定针对所述提问的目标回答，获取所述扩展信息。

6.根据权利要求1所述的方法，其中确定针对所述提问的目标回答包括：

从所述图像数据确定针对所述提问的候选回答；以及

基于所述扩展信息来执行针对所述候选回答的校正，得到所述目标回答，所述校正包括纠错和补全中的至少一项。

7.根据权利要求1所述的方法，其中所述目标回答是利用经训练的问答模型来确定的，所述问答模型的模型输入包括所述图像数据和所述文本信息中的至少一项、所述扩展信息和所述提问。

8.根据权利要求1所述的方法，其中所述提问包括以语音形式捕获的提问。

9.一种用于问答的装置，包括：

数据捕获模块，被配置为响应于检测到问答发起操作，利用用户的设备捕获图像数据和针对所述图像数据的提问；

文本信息提取模块，被配置为从所述图像数据提取文本信息；

扩展信息获取模块，被配置为获取与所述文本信息相关联的扩展信息；以及

目标回答确定模块，被配置为基于所述图像数据和所述扩展信息来确定针对所述提问的目标回答。

10.根据权利要求9所述的装置，其中所述扩展信息获取模块包括：

关键词确定模块，被配置为从所述文本信息确定至少一个关键词；以及

扩展信息取得模块，被配置为从知识库取得与所述至少一个关键词相关联的所述扩展信息。

11.根据权利要求10所述的装置，其中所述知识库包括对应多个领域的多个候选知识库，并且所述扩展信息取得模块包括：

目标领域确定模块，被配置为确定所述图像数据或所述文本信息对应的目标领域；

目标知识库确定模块，被配置为从所述多个候选知识库确定与所述目标领域对应的目标知识库；以及

信息取得模块，被配置为从所述目标知识库取得与所述至少一个关键词相关联的所述扩展信息。

12.根据权利要求10所述的装置，其中所述知识库包括知识图谱。

13.根据权利要求9所述的装置，其中所述扩展信息获取模块包括：

确定模块，被配置为确定从所述图像数据是否能够确定针对所述提问的目标回答；以及

获取模块，被配置为如果从所述图像数据无法确定针对所述提问的目标回答，获取所述扩展信息。