[发明专利]一种支持跨类型语义搜索的多媒体存储与搜索方法

说明书

技术领域

本发明涉及多媒体搜索领域，尤其涉及的是一种支持跨类型语义搜索的多媒体存储与搜索方法。

背景技术

多媒体搜索是搜索引擎的关键技术。目前的多媒体面临两大重要需求：

1、语义多媒体搜索。以图像为例，实际上，用人类的智能在图像中来识别一个目标，并非仅仅建立在目标的低层视觉特征，如颜色、形状和纹理上，而是充分考虑了目标所描述的对象、事件，甚至情感等语义。例如，同一个明星的真实头像照片和其卡通头像照片，以人类的智能来判断，比较容易判断其相似之处，甚至可以很容易地确定为同一个人；但是，使用计算机基于低层视觉特征进行分析，却难以判断两个头像的相似之处。

因此，如何能让用户在搜索的时候，结合计算机无法识别的人类认知信息，是一个重要的问题。

2、跨类型多媒体搜索。我们经常需要通过一种多媒体类型搜索其他类型的多媒体文件。比如，当我们听到一首歌，很好听，但是不知道唱的人长什么样，能够在搜索引擎里面上传这首歌，就可以返回歌手的头像呢？音频、图像、视频的存储格式不同，完全无法用传统的特征提取方法来进行比对。因此，跨类型搜索是一个重要的需求，但也是目前面临的重要研究问题。

针对以上问题，现有技术进行了折中，主要有如下几种：

1、用输入文本的方法进行搜索。该方法已经在商用搜索引擎中广泛应用，用户输入关键字，搜索引擎返回相应多媒体，其原理是搜索该多媒体所在的网页里面是否有相应的文本和关键字相匹配。例如，在传统的搜索引擎中，在文本框中输入“刘德华”，能够搜索相应的图片，当然也可以搜索视频。其原理实际上是因为在该图片或视频的周围，存在“刘德华”这样的文字。

该方法存在如下几个问题：

(1)如果多媒体所在的网页没有相关文字，该图片不会显示。实际上，目前大量的搜索都存在这样的问题。比如，商标搜索、纯多媒体库搜索等等，多媒体周围是没有文字的。输入关键字(“如刘德华”)，由于该多媒体文件并不在网页中，并没有配相应的文字信息，因此无法被搜索出来。

(2)网页中的文字各种各样，比如含有“刘德华”图片的一个网页，里面可能含有各种各样的无关信息，因此，搜索速度较慢，可能造成噪音。

(3)如果多媒体文件被拷贝到别的地方，离开含有该文字的网页，这个多媒体文件不会被搜索出来。

2、用输入多媒体数据的方法进行搜索。该方法也已经在商用搜索引擎中广泛应用，比如用户上传一个图片，搜索引擎返回相应图片，其原理是先提取图片的视觉特征，和数据库中的图片的视觉特征相比对。比如上传葛优照片，获得葛优的其他照片。

该方法存在如下几个问题：

(1)忽略了用户的个人理解。人类认为类似的多媒体(如图片)，用纯粹的视觉特征匹配，却无法判断为类似。

(2)无法支持跨类型搜索。音频、图像、视频的存储格式不同，完全无法用传统的特征提取方法来进行比对。

3、基于语义的搜索。语义搜索引擎的核心是“语义标注”，也就是在多媒体周围提供关键字的标注。在查询时，输入关键字，然后查询相应的标注，标注和多媒体数据分别存储。目前，语义标注的成果已经成熟。已经广泛地使用在语义搜索引擎中。但是，该类方法存在如下问题：

目前的语义描述策略，基本上是将多媒体的语义标注用相应方法(如对象本体方法)进行描述，存储在服务器的知识库中，当匹配需求到达时，在知识库中进行查找、匹配和检索；但是，一幅多媒体在其生命周期中，可能会不断经过复制、移动等操作，由于多媒体本身的数据和其语义标注信息分开保存，在这种情况下，如果多媒体离开知识库，在识别时就无法利用其语义标注信息；对于离开知识库的多媒体，必须重建其语义才能充分利用人类视觉认知机理的优势。

站在这个角度，在多媒体语义特征描述和存储上，我们考虑到目前的主要方法是将语义特征存放在知识库中，与多媒体本身数据存储割裂开来，这类方法在某种程度上忽略了多媒体语义特征的特殊性。从识别的角度讲，语义特征和颜色、形状、纹理等低层视觉特征是平等的，其最终目的是为了在多媒体复制、移动等任何操作情况下都能够进行识别；因此，如果只是将语义标注信息存放在知识库中，和多媒体数据本身分割，语义多媒体的检索就必须依赖知识库。对于融合人类视觉认知的目标特征提取和描述方法，不仅需要规范语义的特征表达，更重要的问题是让语义标注信息实现方便的存储，让用户在使用时更加通用。

发明内容

为解决以上问题，本发明提出了一种支持跨类型语义搜索的多媒体存储与搜索方法。

本发明的技术方案如下：