[发明专利]基于多媒体信息指纹技术的信息搜索方法、系统和应用

说明书

技术领域

本发明涉及多媒体信息指纹及搜索技术领域，以及互联网和移动互联网技术领域。

背景技术

多媒体信息的识别和搜索技术在计算机和互联网领域目前是一个热门研究方向，目前的应用和研究方向主要集中于内容的识别，比如语音识别，用识别的结果转化成文本再进行搜索，返回相应结果。其中，内容识别技术主要基于统计分析的方法，通过对大量实验数据进行分析，得出统计模型，进而对目标内容进行识别。因此，需要复杂的算法、大量的数据积累和计算量，并且当目标内容模式超出现有模型后识别正确率也不理想，目前的应用还处于初始阶段，有一些简单的应用，比如苹果公司iPhone产品中的Siri应用，可以通过语音进行简单的交互，是对传统的文本搜索和指令方式的一种拓展，但在实际使用效果和价值上并不理想。

同时，现实生活中，大量的多媒体信息无处不在，用语言或文字又难以描述，如何利用这些多媒体信息直接进行搜索，进而获得相关信息展现给用户是一个非常有价值的问题。比如，广告主在电视或广播中投放的广告，目前主要希望广告在用户记忆中留下映像，以便对将来的购买决策产生有利于广告主的影响。然而，用户接触广告和实际购买在时间上可能会有很长的间隔，对广告的效果造成不利影响。同时，用户在接触广告的第一时间，往往有了解更详细信息的需求或好奇心，如果能通过一种方式在广告播放的同时能够让用户更深入了解相关信息甚至直接购买，对用户和广告主都非常有价值。互联网广告具有此优势，近年发展非常迅速。

多媒体信息指纹是通过特定算法从多媒体信息中提取的一段数字摘要，通常用于识别多媒体样本或者快速定位多媒体数据库中的相似多媒体。业界对指纹生成算法本身的研究较多，比如“感知哈希算法(Perceptual hash algorithm)”等，本发明不限定于具体指纹生成算法。

发明内容

本发明的目的在于提供一种基于多媒体信息指纹技术的信息搜索和查询方法、应用和系统，使用户可以以多媒体方式进行信息查询，多媒体的形式可以包括但不限于：图片、音频、视频。本发明的要点在于通过对多媒体信息建立多媒体信息指纹库，并以这些指纹作为对应的关联信息的索引，提供搜索服务，当用户使用终端将待搜索的多媒体信息样本/片段提交到应用或系统后，对该搜索多媒体信息样本/片段生成对应信息指纹，并在系统中查询指纹库，如果发现有相似指纹，则返回此指纹对应的关联信息或服务。

如上所述，本发明首先提供了一种信息索引和搜索方法，在多媒体信息和相关信息间建立关联，以多媒体信息的指纹作为此多媒体信息和其关联信息的索引，通过提交多媒体信息样本，比较此样本的指纹和指纹库/索引中指纹的相似度进行搜索。即，用户的搜索以多媒体样本为查询条件，区别于传统的以文本作为查询条件的搜索方式。同时，返回结果不限定于相似的多媒体信息本身，比如返回相似图片、相似音乐等，还可以是和这些图片、音乐相关联的信息，比如图片中的人物、场景等相关信息。

其次，本发明提供了一种系统和服务。该系统和服务提供用户以多媒体信息样本作为搜索条件(手段)，系统和服务返回与该多媒体信息样本相关联的信息。

再者，本发明提供了一种终端/客户端应用，该应用程序能运行在多种终端上，可以采集多媒体样本，可以直接上传此样本进行搜索，也可以生成样本多媒体信息指纹，以指纹作为查询条件进行搜索。此应用程序一方面支持了用户的多媒体搜索方式，另一方面由于信息指纹通常远小于多媒体样本本身，使网络数据传输量大大降低。该应用程序可以是但不限定于：手机应用程序、平板电脑应用程序、智能电视应用程序、个人电脑应用程序等。利用这些设备上的摄像头和麦克风等部件可以很容易采集多媒体样本。

再者，本发明提供了一种商业信息或服务推广方法，将广播、电视、户外、广告等渠道中的多媒体信息和相关商业信息或服务相关联，用户可以通过各种终端采集这些多媒体信息样本，进而查询相关联的商业信息或服务，进行相关操作，如产品购买等。

由于本发明利用以信息指纹建立索引的方式对多媒体信息进行搜索，避免了对多媒体信息理解式识别的要求，减少了系统的复杂性和实现难度，同时也由于无需理解信息内容而提高了最终搜索结果的准确度。同时，本发明采用多媒体样本进行搜索，可以利用现代大多终端设备上具备的摄像、麦克风等部件，使用户输入的难度大幅降低。

并且，本发明使现有的电视、广播、户外广告等传统单向媒体方式能和用户进行实时互动，提供用户随媒体内容实时搜索更深入信息或立即行动的能力。

附图说明

结合附图，本发明的特征和优点将从以下详细描述中显而易见，附图中：