[发明专利]解题方法、装置、存储介质及电子设备

权利要求书

1.一种解题方法，其特征在于，所述方法包括：

获取目标题目，所述目标题目包括文本和几何图片；

获取所述文本对应的M个语义特征向量，所述语义特征向量为所述文本中各词组分别对应的特征向量，所述M为大于零的正整数；

获取所述几何图片对应的N个子图特征向量，所述子图特征向量为所述几何图片中各子图分别对应的特征向量，所述子图为所述几何图片中任意两个角标构建的图片，所述N为大于零的正整数；

基于所述M个语义特征向量以及所述N个子图特征向量获取所述目标题目的解题结果。

2.根据权利要求1所述的方法，其特征在于，所述获取所述文本对应的M个语义特征向量，包括：

获取所述文本对应的m个词向量，所述词向量为所述文本中各第一字符分别对应的词向量，所述m为大于零的正整数；

将所述m个词向量输入至语义编码器中，输出所述文本对应的M个语义特征向量，所述M小于或者等于所述m。

3.根据权利要求1所述的方法，其特征在于，所述获取所述几何图片对应的N个子图特征向量，包括：

获取所述几何图片中各角标对应的角标框；

基于任意两个角标框构造出N个子图，所述任意两个角标框的中心点的横坐标和纵坐标都不相同；

将所述N各子图输入至图像特征提取模型中，输出N个子图特征向量。

4.根据权利要求3所述的方法，其特征在于，所述基于任意两个角标框构造出N个子图，包括：

以任意两个角标框的中心点为两个对角顶点作矩形框，得到N个子图。

5.根据权利要求1所述的方法，其特征在于，所述基于所述M个语义特征向量以及所述N个子图特征向量获取所述目标题目的解题结果，包括：

将所述M个语义特征向量与所述N个子图特征向量输入至注意力机制模型中进行对齐融合，得到M个融合特征向量；

将所述M个融合特征向量输入至解码器中，输出K个解码向量，所述K为大于零的正整数；

基于各所述解码向量得到所述目标题目的解题结果。

6.根据权利要求5所述的方法，其特征在于，所述将所述M个语义特征向量与所述N个子图特征向量输入至注意力机制模型中进行对齐融合，得到M个融合特征向量，包括：

在所述M个语义特征向量中确定与所述N个子图特征向量中各子图特征向量匹配度最高的语义特征向量；

将各所述匹配度最高的语义特征向量分别与相应的子图特征向量进行融合，且保留其余语义特征向量，得到M个融合特征向量。

7.根据权利要求5所述的方法，其特征在于，所述基于各所述解码向量得到所述目标题目的解题结果，包括：

获取所述K个解码向量对应的K个索引概率向量；

在所述K个索引概率向量中确定每个索引概率向量对应的最大索引概率，获取各所述最大索引概率对应的第二字符；

基于各所述第二字符生成所述目标题目的解题结果。

8.一种解题装置，其特征在于，所述装置包括：

目标题目获取模块，用于获取目标题目，所述目标题目包括文本和几何图片；

第一向量获取模块，用于获取所述文本对应的M个语义特征向量，所述语义特征向量为所述文本中各词组分别对应的特征向量，所述M为大于零的正整数；

第二向量获取模块，用于获取所述几何图片对应的N个子图特征向量，所述子图特征向量为所述几何图片中各子图分别对应的特征向量，所述子图为所述几何图片中任意两个角标构建的图片，所述N为大于零的正整数；

解题结果获取模块，用于基于所述M个语义特征向量以及所述N个子图特征向量获取所述目标题目的解题结果。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。

10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。