[发明专利]一种基于局部与全局信息的图片选择标注方法

说明书

本发明公开一种基于局部与全局信息的图片选择标注方法，通过让学习模型自动地选择部分图片进行标注，能够利用尽可能少的有标记图片学到尽可能好的模型。为了降低图片标记的需求，该方法利用深度模型的特征提取能力构建图片样本的特征表示空间，基于图片样本在特征表示空间的局部信息衡量样本对于模型更新的作用。同时基于特征表示空间的全局信息将图片数据空间划分为不同的区域，根据模型在不同区域上的性能动态分配标注预算，从而高效地利用图片标记信息，降低图片标记的需求。

技术领域

本发明涉及一种基于局部与全局信息的图片选择标注方法，该方法能够利用特征表示空间的局部与全局信息高效地选择图片数据库中需要标注的对象，以较少的标注成本训练较好的图片分类模型，属于计算机人工智能数据分析技术领域。

背景技术

随着互联网的不断发展，有大量的图片数据需要进行处理，例如人脸识别中的人脸图片，自动驾驶中的道路图片，电商平台上的商品图片等等。图片数据结构较为复杂，因此经常要用深度模型完成图片分类任务。但是训练深度模型需要大量的有标记图片。通常情况下，标注这些图片需要花费大量的人力物力，代价昂贵。为了降低标注成本，提高有标记图片利用效率，一种解决方法是让模型自动地选择需要标注的重要图片，并收集这些图片的标记用于更新模型，这便是选择标注的基本思想。目前的选择标注方法在衡量数据的重要程度时，主要考虑数据的不确定性与代表性。其中模型对于数据的预测结果的置信度越低，数据的不确定性越高。另外数据梯度的模长也可以用于估计数据的不确定性。由于基于不确定性的方法只考虑了单个数据的不确定程度，因此模型容易挑选出一批不确定性高但冗余的数据。通过考虑数据的代表性可以一定程度上缓解这一问题。基于代表性的方法一般将数据的特征聚成几个聚簇，选取每个聚簇的中心点作为该聚簇的代表。这样只需利用少量的数据即可刻画整个数据的分布情况。但是这种方法由于没有模型的信息作为指导，选取的数据不一定有利于模型的更新。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于局部与全局信息的图片选择标注方法。该方法能够利用图片特征表示空间中的局部信息，结合模型的预测结果，衡量图片的信息量，能够在一定程度上避免相似或冗余的图片。同时还结合了特征表示空间的全局信息，将图片数据分为多个聚簇，根据模型在不同聚簇上的性能动态地分配标注预算，进一步提高图片标记的利用效率，减少标注成本。在利用相同数目的有标记图片时，通过该方法训练的模型相较于一般的选择标注方法具有更好的性能。

技术方案：一种基于局部与全局信息的图片选择标注方法，包括如下内容：

首先需要用户建立一个图片对象库。接下来从图片对象库中随机选取部分图片对象，获取这些图片对象的标记，组成初始训练集。用户设置深度模型的结构、每一轮选取的图片对象数目、迭代总轮数。

接着，基于训练集训练深度学习模型。利用深度模型将图片对象库中的图片对象转换为特征表示，即提取图片对象库中图片的特征。其中深度模型的倒数第二层的输出常常作为相应图片对象的特征表示。这些特征表示组成的空间被称为特征表示空间。

然后，在特征表示空间中，根据局部信息计算方法估计每个对象的信息量，并按照全局信息预算分配方法分配标注预算。基于该预算，挑选出信息量高的一批图片对象，收集这些图片对象的标记。更新有标记图片对象集合和未标记图片对象集合。同时，使用有标记图片对象集合重新训练深度模型，利用新模型重新提取图片对象的特征表示。将这些步骤依次迭代指定轮数。最后一轮的模型即为最终的深度模型。

最后在预测阶段，用户将待测图片对象输入到训练得到的深度模型，深度模型给用户返回预测结果。

有益效果：与现有的技术相比，本发明通过结合特征表示空间中的局部与全局信息，通过考虑了图片对象的局部信息避免选取出冗余图片，通过特征表示空间的全局信息按需分配预算，提高了图片数据标记的利用效率，减少了标注成本。

附图说明

图1是本发明的流程图；