[发明专利]图像识别模型的训练方法及装置、图像识别方法及装置

说明书

本申请提供图像识别模型的训练方法及装置、图像识别方法及装置，所述图像识别模型的训练方法包括：获取预训练的图像识别模型和训练数据，其中，所述训练数据包括样本图像和所述样本图像对应的标准描述信息；将所述样本图像输入所述图像识别模型，根据模型的注意力调整机制获取所述样本图像的描述信息；根据所述描述信息和所述样本图像对应的标准描述信息计算损失值，调整所述图像识别模型的模型参数和注意力调整机制参数。通过注意力调整机制，使图像识别模型在识别样本图像过程中，能有效关注样本图像的局部特征，避免重复关注样本图像的同一局部特征，提高图像识别模型的识别准确率，提高图像识别模型的训练效率。

技术领域

本申请涉及机器学习技术领域，特别涉及图像识别模型的训练方法及装置、图像识别方法及装置、计算设备、计算机可读存储介质和芯片。

背景技术

在实际应用中，很多时候需要通过图像识别模型获取图像的描述信息，例如识别图像中的内容生成表格或公式，识别图像的内容生成描述信息等。

在训练和使用图像识别模型时，多采用编码-解码框架，并在解码过程中并结合注意力机制，识别图像中的内容。但是，在结合注意力机制对图像进行解码的过程中，经常会出现多次重复地注意同一位置，造成识别过程耗时严重，识别生成的内容不准确，从而影响图像识别模型的训练效率和图像识别的准确率。

那么如何解决上述问题，提高图像识别模型的训练效率，提高图像识别的准确率，就成为目前亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供了图像识别模型的训练方法及装置、图像识别方法及装置、计算设备、计算机可读存储介质和芯片，以解决现有技术中存在的技术缺陷。

根据本申请实施例的第一方面，提供了一种图像识别模型的训练方法，包括：

获取预训练的图像识别模型和训练数据，其中，所述训练数据包括样本图像和所述样本图像对应的标准描述信息；

将所述样本图像输入所述图像识别模型，根据模型的注意力调整机制获取所述样本图像的描述信息；

根据所述描述信息和所述样本图像对应的标准描述信息计算损失值，调整所述图像识别模型的模型参数和注意力调整机制参数。

可选的，将所述样本图像输入所述图像识别模型，根据模型的注意力调整机制获取所述样本图像的描述信息，包括：

将所述样本图像输入至所述图像识别模型的编码端进行编码，获得所述样本图像的局部特征向量集合和全局编码向量；

根据所述样本图像的局部特征向量集合获取注意力分布；

将所述全局编码向量输入至所述图像识别模型的解码端，根据模型的注意力调整机制调整所述注意力分布获取所述样本图像的描述信息。

可选的，将所述全局编码向量输入至所述图像识别模型的解码端，根据模型的注意力调整机制调整所述注意力分布获取所述样本图像的描述信息，包括：

S31、根据所述注意力分布对所述全局编码向量进行解码，生成解码字符集；

S32、判断所述图像识别模型的解码端是否完成解码，若否，执行S33，若是，则执行S34；

S33、根据模型的注意力调整机制调整所述注意力分布，执行S31；

S34、根据所述解码字符集生成所述图像的描述信息。

可选的，根据模型的注意力调整机制调整所述注意力分布，包括：

获取所述图像识别模型的超参数、上一次的隐状态和关注次数向量；

根据所述图像识别模型的超参数、上一次的隐状态和全局编码向量，获取注意力参数向量；