[发明专利]基于区域加权组合的不规则形式图像物体自动标注方法

说明书

本发明公开了一种基于区域加权组合的图像物体不规则形式自动标注方法，以人工方式弱标记幅图像数据，分为目标图像和非目标图像；采用无监督过分割技术将每一幅图像划分为若干个互斥的不规则区域，对幅图像提取局部特征并聚类构造单词表，获得词袋直方图特征向量，并以区域加权组合的方式表示图像中物体的特征向量，构造区域平滑正则项的数学表示；根据特征向量和构造的区域平滑正则项的数学表示，构造目标函数；最优化目标函数，得到模型参数和区域权重参数。本发明仅需要简单的弱标记即可实现图像数据中物体的不规则形式标注，大幅度减少人工标记的工作量；获得的物体标注可用于训练各种视觉识别的模型，应用于各个领域的自动识别。

技术领域

本发明涉及一种基于区域加权组合的不规则形式图像物体自动标注方法，属于模式识别领域。

背景技术

视觉识别中的很多任务，比如图像分类、目标检测以及语义分割等，通常都归结为一个分类问题。比如目标检测，可以用一个训练好的目标分类器，在一幅测试图像中的多个可能区域进行尝试，分类为正且得分最大者即为目标所在区域。为了获得性能优良的分类器，通常需要大量的人工标注的训练数据。尽管现在已经出现了像ImageNet之类的千万规模的图像数据集，并且不断有科研人员尝试将在此类大规模数据集上预训练的模型应用到其他的视觉识别领域，然而也都需要该领域的很多标注数据对模型参数进行微调。

一种比较可行的人工标注方式是用矩形框这样的规则形式把图像中的目标物体标记出来。然而这种规则形式的标注对于非框形物体会夹杂太多的背景元素，导致训练的目标模型不够精确，这时候需要一种非规则形式的标注得到像素级的物体面罩。但是这种标记方式相比矩形框更加繁琐和乏味。这也限制了此类视觉识别模型的广泛应用。

在需要做不规则形式的目标标注时，为了降低对人工标注的工作量，由研究人员提出先对图像做图像级别的弱标记，然后用多示例学习的方式判断含有目标的图像里面到底哪些区域是物体。所谓弱标记，即只需要简单地指出该图像是否包含兴趣物体，而不需要标注物体的位置，此时需要的标记仅仅是二项选择式的判断，其工作量比矩形框标注也大大降低。这类方法需要先对弱标记的图像做无监督的过分割，每幅图像得到多个互斥的分割区域，这样以来，一幅图像可以看成一个袋子，其中的每个区域看成示例，然后用多示例学习的方式判断哪些过分割区域属于目标物体。但是普通的多示例学习应用到此类方案中时会出现两个问题：1)大多数多示例学习只能检测一个袋子里面最有可能为正的示例，而图像中的目标往往是由多个过分割区域组成的，造成不完全的标注。2)虽然有的多示例方法能检测多个正示例，但是不会考虑过分割区域之间的空间平滑性，不能从理论上保证图像中的物体是一片连续的区域这一事实。

发明内容

为了解决上述问题，本发明提出一种基于区域组合的不规则形式图像物体自动标注方法，通过图像的区域组合表示方式，在机器学习目标函数中集成权重参数和平滑权重参数的正则项，然后联合地优化模型参数和权重参数，得到能够识别区域类别的判别函数，进而实现不规则形式的目标自动标注。

本发明中主要采用的技术方案为：

1、一种基于区域加权组合的图像物体不规则形式自动标注方法，其特征在于，具体步骤如下：

步骤S1：以人工方式弱标记N幅图像数据，将其分为目标图像和非目标图像两类；

步骤S2：采用无监督过分割技术将N幅图像数据中的每一幅图像划分为若干个互斥的不规则区域，假设第i幅图像获得的不规则区域数量为m_i， i∈{1,2,…,N}；

步骤S3:对N幅图像密集地提取局部特征并聚类构造单词表，从而获得每一个不规则区域的词袋直方图特征向量,假设第i幅图像的第j个区域的特征向量记为x_ij，j∈{1,2,…,m_i}；

步骤S4：对N幅图像数据中的每幅图像中的每个过分割区域施加一个待优化的隐变量，并以区域加权组合的方式表示图像中物体的特征向量；