[发明专利]自动图像标注方法、装置、设备及计算机可读存储介质

说明书

本发明实施例公开了一种自动图像标注方法、装置、设备及计算机可读存储介质。其中，方法包括将待标注图像输入至预先构建的深度学习网络模型中，提取深度学习网络模型中间层输出的卷积结果；基于卷积结果，通过稀疏编码生成待标注图像的图像视觉特征向量；计算图像视觉特征向量与预先构建的文本词汇视觉特征向量库中的各文本词汇的文本视觉特征向量的相似度，最后将满足相似度条件的文本词汇作为标注词，自动对待标注图像进行图像标注。本申请无需大规模数据集训练模型，时空开销较小，有效降低了深度特征数据和硬件门槛要求条件，还有利于扩大深度学习应用范围。

技术领域

本发明实施例涉及图像标注技术领域，特别是涉及一种自动图像标注方法、装置、设备及计算机可读存储介质。

背景技术

近二十年以来，自动图像标注一直是计算机视觉领域的研究热点问题。图像标注效果取决于标注模型和视觉特征向量，视觉特征向量质量决定了图像标注质量上限。近些年来，随着图像标注模型越来越趋于成熟，视觉特征向量已经成为图像标注效果的决定性因素。

传统计算机视觉领域的图像特征均为领域专家设计的人工特征，人工特征质量依赖专家领域知识和相关经验，在复杂计算机视觉应用中间，人工特征很难提取出高质量特征向量。鉴于此，相关技术通过构建基于卷积神经网络的深度学习模型提取图像特征。深度学习所提取特征称之为深度特征，与人工特征相区别的是，深度学习特征是端到端特征提取过程，无需人工参与和干预。对于图像特征提取而言，输入端输入原始图像，通过复杂的模型训练后，模型可以在输出端直接输出高质量的深度特征。例如表1所示是基于深度学习的图像标注模型与传统标注模型的效果对比，实验数据集均为Corel5K。

表1基于深度学习的标注模型与传统标注模型的效果对比(Corel5k)

从表1的已有公开实验数据可见，深度学习方法相较于传统图像标注方法，效果虽然有所提高但并不十分显著，特别是当网络模型较复杂时，如VGG-16网络，由于小规模图像数据无法满足复杂网络结构模型的训练，导致标注性能出现降低现象。如果没有足够训练数据支撑，由于过拟合现象等原因，这些复杂网络模型并不能获得理想标注效果，甚至越复杂网络结构的深度学习模型其标注性能越低。同时，这种深度学习训练方法需要较大时间开销以及较高硬件配置条件。

尽管理论上很多深度学习模型已有比较完善的理论基础和科学性较高的网络结构，但如果没有足够训练数据作为支撑条件，这些复杂网络模型并不能获取理想图像标注效果，同时深度模型训练所需较高时空开销和较高硬件配置条件使其应用受到诸多限制约束。

发明内容

本公开实施例提供了一种自动图像标注方法、装置、设备及计算机可读存储介质，无需大规模数据集训练模型，有效降低了深度特征数据和硬件门槛要求条件，还有利于扩大深度学习应用范围。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种自动图像标注方法，包括：

将待标注图像输入至预先构建的深度学习网络模型中，并提取所述深度学习网络模型中间层输出的卷积结果；

基于所述卷积结果，通过稀疏编码生成所述待标注图像的图像视觉特征向量；

计算所述图像视觉特征向量与预先构建的文本词汇视觉特征向量库中的各文本词汇的文本视觉特征向量的相似度；

将满足相似度条件的文本词汇作为标注词，自动对所述待标注图像进行图像标注。

可选的，所述文本词汇视觉特征向量库的构建过程包括：

文本词汇视觉特征向量库包括M个词汇，利用第一公式表示所述文本词汇视觉特征向量库中第j个词汇w_j基于正例图像集的视觉特征向量所述第一公式为：