[发明专利]确定代表多媒体项目的信号的描述子的方法和设备

说明书

技术领域

本发明涉及用于确定多媒体项目的描述子(descriptor)的方法和设备。本发明还涉及用于检索数据库中的多媒体项目的设备以及用于对数据库中的多媒体项目进行分类的设备。

背景技术

在例如多媒体资产管理之类的多种信号和数据处理领域中，针对多媒体项目来计算小型紧凑的描述子，以比较两个项目或在数据库中搜索与给定项目相似的项目。

例如，数据库中例如人物照片或视频图像等图像可以具有相关描述子，以易于将数据库组织为相似图像组或检索与给定图像相似的图像。

描述子的问题在于它们应该最佳地反映两个项目的相似性，同时又要是小型的。

一种公知的常用描述子基于多媒体项目的信号的频率分解。因此，使用滤波器组来分别产生与频带相对应的滤波信号。然后，通常计算每个频带中滤波信号的功率。功率值的总体构成描述子。例如，滤波器组普遍用于音频处理。对于图像，诸如小波或Gabor滤波器组等的滤波器组也广泛用于图像分析和检索。

为了增强描述子反映图像特征和图像相似性的能力，普遍应用如下措施之一：

1.增加滤波器的数目；

2.优化滤波器的重新分配和类型；

3.提高每个滤波器的精度。

例如，可以采用12而不是8个滤波器来实现第一种措施。这样，更好地描述了信号的频谱。

对于图像的情况，可以通过用Gabor滤波器取代小波滤波器，来实现第二种措施。小波滤波器通过考虑水平、垂直和对角线频率，涵盖二维频谱，而Gabor滤波器更加灵活，可以在更多方向上描述频率。因此，可以更好地描述图像，特别是图像中的纹理。

第三种措施解决了滤波器的实现，特别是数字滤波器的实现，并可以通过增加用于表示滤波核的样本的数目来实现。例如，当用32×32核取代16×16核时，可以增强Gabor滤波器。

滤波器组的问题通常在于滤波器的频谱交迭，从而无法正确地计算频带。例如，Gabor滤波器具有高斯形状的频谱。这些频谱本质上是交迭的。这种交迭降低了图像检索性能，特别是在一个或多个滤波器包括相当多的频率零的部分时。

以显示条纹的两幅图像为例。在两幅图像中，条纹的方向和频率相同。仅有的区别是两幅图像之间的空间常数偏移。基于Gabor子带的功率，计算每幅图像的描述子。即使图像显示相同类型的纹理，偏移越高，描述子越不相同。

另外，以显示在白天不同时间的相同场景的两幅图像为例。光照越不同，描述子也越不同。例如，使用显示在白天的车辆的给定图像，在数据库中检索显示车辆的图像，则可能无法找出显示诸如夜间之类的较低光线等级下的车辆。

这种效果导致在数据库执行检索更加困难，特别是在搜索语义上相似的项目时。例如，搜索具有与给定节奏相似的节奏的音频片断。当由于技术原因而导致音频片断具有不同的信号偏移时，可能无法找到具有相同节奏但偏移不同的一些音频片断。

当使用基于滤波器组的描述子对多媒体项目进行分类时，也可能产生消极效果。因此，将描述子馈入将一个或多个标签归属于图像的分类器。例如，用于图像中户外场景的分类器可以检测给定图像中的户外场景，并产生该图像的标签“户外”。通常用典型图像集对分类器进行训练。当这些图像只包括日光图像时，分类器可能无法检测到例如早上的具有较低光线等级的户外场景。

发明内容

本发明提出了一种方法，以使用滤波器组来计算多媒体项目的描述子，并避免上述缺点中的至少一个。

为此，本发明提供了一种对代表多媒体项目的信号的描述子进行确定的方法，该方法包括对所述信号应用第一定向滤波器组以获得第一系数集的步骤。

根据本发明，所述方法包括如下步骤：

-对所述信号应用第二滤波器组，以获得代表低通滤波信号的第二系数集，

-通过获得第一系数集与第二系数集之间的差值，计算代表所述多媒体元素的描述子；以及

-计算所述差值的相关功率。

根据优选实施例，定向滤波器是Gabor型滤波器。

根据优选实施例，第二滤波器组包括低通滤波器。

根据第二实施例，第二滤波器组包括定向滤波器，所述定向滤波器计算沿与Gabor滤波器的灵敏度方向垂直的行的均值。

优选地，对二次系数组执行所述差值的相关功率的计算，获得的描述子是值的集合，每个值与针对每个组而获得的描述子相对应。

根据另一实施例，对所有描述子执行所述差值的相关功率的计算，所获得的描述子是唯一值。

优选地，第一系数集和第二系数集中的系数分别与滤波器的一个方向和一个尺度相对应。