[发明专利]一种图像推理的方法及装置

说明书

本申请提供一种图像推理的方法及装置，其中所述方法包括：获取待推理图像；将所述待推理图像进行缩放，生成至少一个缩放图像；将所述至少一个缩放图像输入至图像推理模型，获得每个缩放图像对应的输出特征；将所述至少一个缩放图像对应的输出特征进行融合，得到所述待推理图像的融合特征，并基于所述融合特征生成所述待推理图像的表达式。本方法无需增加多个模型对图像进行处理，而是利用图像缩放变换实现了模型融合的效果，在不增加模型数量的情况下，使模型能更好的识别同一图像尺寸中不同大小的字符以及不同图像尺寸中的字符，有效提高了模型推理结果的推理精度。

技术领域

本申请涉及图像识别技术领域，特别涉及一种图像推理的方法及装置、计算设备和计算机可读存储介质。

背景技术

随着深度学习技术的发展，基于深度学习的图像推理任务已经趋于成熟。图像推理任务为通过图像识别模型对图像进行识别，得到图像中的内容生成对应的文字或公式，例如Image2text任务、Image2latex任务。

例如对于Image2latex任务，需要将图像中的公式进行识别并转换为latex公式。由于公式不仅包括数字，还会包括标点、上下角标、运算符号等等，对于此种图像，需要对图像中的公式的每个细节均识别准确，否则就会导致最终结果的偏差。所以，与一般的人物风景图像的识别任务不同，对于包括公式的图像识别任务，图像中公式的尺寸对模型性能的影响因素会更大，进而更多地影响实际的图像推理结果。

现有的图像推理任务中，利用深度学习网络模型对单个待推理图像进行特征提取，然后对特征进行解码，进而得到待推理图像对应的文字或公式。为了提高对图像推理的精度，现有的做法一般是采用多个网络模型对同一个图像进行推理，并根据推理结果进行加权结合得到最终的推理结果。此种方式并没有考虑网络模型对图像尺寸的敏感特性，最终导致结果的精度降低。

发明内容

有鉴于此，本申请实施例提供了一种图像推理的方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例提供了一种图像推理的方法，包括：

获取待推理图像；

将所述待推理图像进行缩放，生成至少一个缩放图像；

将所述至少一个缩放图像输入至图像推理模型，获得每个缩放图像对应的输出特征；

将所述至少一个缩放图像对应的输出特征进行融合，得到所述待推理图像的融合特征，并基于所述融合特征生成所述待推理图像的表达式。

可选地，所述图像推理模型包括：特征提取模型和特征推理模型；

将所述至少一个缩放图像输入至图像推理模型，获得每个缩放图像对应的输出特征，包括：

将所述至少一个缩放图像输入至特征提取模型，得到每个所述缩放图像对应的图像特征；

将每个所述缩放图像对应的图像特征分别经由自注意力层进行处理，得到每个所述缩放图像对应的自注意力图像特征；

将每个所述缩放图像对应的自注意力图像特征以及参考特征输入至所述特征推理模型，获得每个缩放图像对应的输出特征。

可选地，将每个所述缩放图像对应的自注意力图像特征以及参考特征输入至所述特征推理模型，获得每个缩放图像对应的输出特征，包括：

将每个所述缩放图像对应的自注意力图像特征以及初始参考特征输入至特征推理模型，获得每个缩放图像对应的第一次的输出特征；或

将每个所述缩放图像对应的自注意力图像特征以及前一次生成的融合特征输入所述特征推理模型，获得每个缩放图像对应的当前次的输出特征。

可选地，所述特征推理模型为时序模型。