[发明专利]基于图像的问答处理方法和装置、电子设备及存储介质

权利要求书

1.一种基于图像的问答处理方法，其特征在于，包括：

获取目标图像的图像特征，以及获取目标问题的问题特征，其中所述目标问题为针对所述目标图像的问题；

基于所述问题特征确定动态卷积核，并基于所述动态卷积核对所述图像特征执行卷积操作获得融合特征；所述基于所述动态卷积核对所述图像特征执行卷积操作获得融合特征，包括：利用直线型连接结构上的各卷积模组依次根据所述动态卷积核对所述图像特征执行卷积操作获得融合特征，其中，多个卷积模组依次顺序连接构成所述直线型连接结构，所述卷积模组的输入数据包括所述图像特征或者包括该卷积模组的前一个卷积模组的输出结果；

基于所述融合特征确定所述目标图像中针对所述目标问题的答案。

2.根据权利要求1所述的方法，其特征在于，所述基于所述动态卷积核对所述图像特征执行卷积操作获得融合特征包括：

将所述动态卷积核分别输入至N个卷积模组，其中N为大于1的整数；

通过所述直线型连接结构中的第一个卷积模组基于所述动态卷积核执行所述图像特征的卷积操作，得到第一输出结果；

通过所述直线型连接结构中的第i个卷积模组基于所述动态卷积核执行第i-1个卷积模组的输出结果的卷积操作，并通过第N个卷积模组获得所述融合特征，其中i为大于1且小于或者等于N的整数。

3.根据权利要求2所述的方法，其特征在于，各所述卷积模组包括至少一个卷积单元组，其中，通过各所述卷积模组执行卷积操作包括：

将输入至卷积模组的输入数据划分成至少一组特征子数据，所述特征子数据的组数与所述卷积单元组的组数对应；

将各组特征子数据分别对应地分配给各卷积单元组，且将动态卷积核分配给至少一个卷积单元组，该被分配动态卷积核的至少一个卷积单元组以外的各卷积单元组被分配预设卷积核；

通过各卷积单元组基于分配的动态卷积核或者预设卷积核对输入的特征子数据执行卷积操作。

4.根据权利要求3所述的方法，其特征在于，所述通过各卷积单元组基于分配的动态卷积核或者预设卷积核对输入的特征子数据执行卷积操作包括：

从利用动态卷积核执行卷积操作的卷积单元组获得的第一特征数据中选择出第一部分数据，所述第一特征数据为利用所述动态卷积核执行卷积操作的卷积单元生成的数据；

将利用预设卷积核执行卷积操作的卷积单元组获得的第二特征数据的第二部分数据替换成所述第一部分数据，获得第三特征数据；

基于所述第一特征数据和第三特征数据得到对应卷积模组的输出结果。

5.根据权利要求2所述的方法，其特征在于，各所述卷积模组包括至少一个卷积单元组，其中，通过各所述卷积模组执行卷积操作包括：

将输入至卷积模组的输入数据划分成至少一组特征子数据，所述特征子数据的组数与所述卷积单元组的组数对应，并且所述输入数据包括所述图像特征或者包括该卷积模组的前一个卷积模组的输出结果；

将各组特征子数据分别对应地分配给各卷积单元组，且将动态卷积核分别分配给各卷积单元组；

通过各卷积单元组基于分配的动态卷积核对输入的特征子数据执行卷积操作。

6.根据权利要求5所述的方法，其特征在于，所述通过各卷积单元组基于分配的动态卷积核对输入的特征子数据执行卷积操作包括：

获取各卷积单元组输出的特征数据；

基于各卷积单元组输出的特征数据获得对应卷积模组的输出结果。

7.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征确定所述目标图像中针对所述目标问题的答案包括：

利用预设的分类模型对所述融合特征进行分析识别，获得针对所述目标问题的答案。

8.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征确定所述目标图像中针对所述目标问题的答案包括：

获得与所述融合特征对应的注意力权重矩阵；

基于所述注意力权重矩阵对所述融合特征的对应特征加权求和；

利用预设的分类模型对加权求和后的融合特征进行分析识别，获得针对所述目标问题的答案。