[发明专利]用于生成图像的初始超像素标签图的方法和装置

说明书

技术领域

本原理涉及一种用于从图像序列生成当前图像的初始超像素标签图的方法和装置。特别地，本原理涉及一种用于使用快速标签传播方案从图像序列生成当前图像的初始超像素标签图的方法和装置。

背景技术

超像素算法代表用于广泛的计算机视觉应用(分割、图像解析、分类等)的非常有用的和越来越流行的预处理步骤。将相似的像素分组成所谓的超像素导致图像基元的较大减少，即允许对图像进行完整描述的特征的较大减少，其为后续处理步骤带来增加的计算效率或者考虑到更复杂的算法，这在像素级上会是计算上不可行的，并且为基于区域的特征创建空间支持。

超像素算法将像素分组成超像素，“它们是局部的、连贯的，并且以感兴趣的规模保留大部分分割所需的结构”[1]。超像素应该“在大小和形状上大致均匀”[1]。

用于视频内容的许多近来的超像素算法依赖于密集光流向量来将分割结果从一帧传播到下一帧。对光流质量对于过分割质量的影响的评估表明，对于具有大的物体位移和相机运动的视频来说，其为不可或缺的。然而，归因于高计算成本，高质量的、密集光流的计算不适用于实时应用。

发明内容

本发明的目的是提出一种用于从图像序列生成当前图像的初始超像素标签图的改进的解决方案。

根据本原理的一个方面，一种用于从图像序列生成当前图像的初始超像素标签图的方法包括：

-确定当前图像中的特征；

-追踪所确定的特征回到先前图像中；以及

-基于所追踪的特征，将关联到先前图像的超像素标签图变换成当前图像的初始超像素标签图。

因此，一种计算机可读存储介质，具有其中存储的用于从图像序列生成当前图像的初始超像素标签图的指令，当所述指令由计算机执行时，使得计算机：

-确定当前图像中的特征；

-追踪所确定的特征回到先前图像中；以及

-基于所追踪的特征，将关联到先前图像的超像素标签图变换成当前图像的初始超像素标签图。

计算机可读存储介质是非临时性的易失性或非易失性存储介质，诸如例如硬盘、光盘或磁盘或磁带、固态存储设备等。因此存储介质有形地体现可由计算机或处理设备执行的指令的程序，以执行如在此描述的程序步骤。

此外，在一个实施例中，一种用于从图像序列生成当前图像的初始超像素标签图的装置包括：

-特征检测器，其被配置为确定当前图像中的特征；

-特征追踪器，其被配置为追踪所确定的特征回到先前图像中；以及

-变换器，其被配置为基于所追踪的特征，将关联到先前图像的超像素标签图变换成当前图像的初始超像素标签图。

在另一实施例中，一种用于从图像序列生成当前图像的初始超像素标签图的装置包括处理设备和存储设备，所述存储设备具有其中存储的指令，当所述指令由处理设备执行时，使得所述装置：

-确定当前图像中的特征；

-追踪所确定的特征回到先前图像中；以及

-基于所追踪的特征，将关联到先前图像的超像素标签图变换成当前图像的初始超像素标签图。

为了对超像素标签图进行变换，对于当前图像和先前图像从所确定的特征生成由三角形组成的网格。然后将当前图像的网格向后变形到先前图像的网格上。为此目的，针对当前图像中的每个三角形，确定用于将该三角形变换成先前图像中的对应三角形的仿射变换的变换矩阵。使用所确定的变换矩阵，将当前图像中的每个像素的坐标变换成先前图像中的经变换的坐标。然后，在每个像素位置处，利用在对应的经变换的像素位置处关联到先前图像的标签图的标签，对当前图像的超像素标签图进行初始化。

所提出的解决方案使用在稀疏特征追踪和基于网格的图像变形的基础上的快速标签传播方案。归因于处理成本的大幅降低，该方法显著加快了传播处理。同时，最终的超像素分割质量与使用高质量的、密集光流的方法相当。

在一个实施例中，将经变换的坐标剪裁到最近的有效像素位置。以这种方式，确保对于当前图像的超像素标签图中的每个像素位置，从关联到先前图像的标签图中分配的标签是明确的。

在一个实施例中，在当前图像和先前图像的每个角落处和每个边界的中心处添加特征。这确保每个像素被三角形覆盖。

在一个实施例中，将与初始超像素标签图中的主要大量超像素分离的像素分配给相邻超像素。这保证了超像素的空间一致性。

所描述的方法不仅适用于时间图像序列。它同样可以用于多视图图像的各个图像并且甚至用于多视图图像的序列。

附图说明