[发明专利]使用数字图像的元数据和内容特征来找到相关音频伴奏的系统和方法

说明书

本发明涉及的是使用数字图像序列的元数据来识别音频伴奏并与之 关联，以及创建与所识别的音频相结合的序列，从而将其作为建议播放列 表或是视听展示呈现给用户，其中所述音频伴奏包含了具有与图像元数据 相类似的文本和元数据的音乐和声音。

越来越多的消费者系统将不同类型内容的存储和回放组合在了一起。 由此，个人用于回放数字照片的系统通常将能在显示这些照片的同时播放 音乐伴奏。由此产生的问题是：这种可能性为用户提出了额外的任务，那 就是找到并选择恰当的音乐，以便为照片幻灯显示(数字图像序列)提供 伴奏。由此需要一种用于自动播放(或建议)与特定数字图像序列的内容 相匹配的音频伴奏的方法。

在一个实施例中，本发明的系统、设备和方法提供了一种通过使用数 字图像(例如照片、相簿、家庭视频)的元数据来搜索音乐的方法，其中 所述音乐包含了与这些照片相关联的歌曲文本。

为了实现该目的：

(1)从一个或多个图像(的集合/序列)或是从图像元数据中得到文 本标签，以及

(2)这些文本标签或关键短语包含了至少一个关键字，并且被用于 找到在音乐标题中、或是在与音乐相关联的歌曲文本的某些(显著)部分 中、或是在音频的元数据中包含了这些关键短语的音频伴奏。

很多经典作品都具有为其音乐设置的文字，例如，“I′m Always Chasing Rainbows”是一首为Chopin’s Fantasie Impromptu设置的歌曲。 此外，很多没有文字的音乐作品都适合作为用于幻灯显示的背景音乐，例 如与海洋音乐相关联的海滨幻灯显示。除了音乐之外，音轨同样可以作为 音频伴奏而被提供。后面的这些音频伴奏必须具有用于描述其内容的相关 元数据。

图1描述的是根据本发明的方法的功能流程图；

图2描述的是根据本发明而将音乐与歌曲相关联的设备；以及

图3描述的是根据本发明的系统。

本领域普通技术人员应该理解，提供以下描述是为了进行例证，而不 是加以限制。技术人员应该理解的是，在本发明的实质和所附权利要求的 范围以内存在着多种变型。对已知功能和操作来说，与之相关的不必要细 节可以从当前描述中被省略，以免与本发明相混淆。

在一个优选实施例中，用户提供的数字图像内容和特性被用于导出文 本标签(图像元数据)，这些文本标签可以是包含了从用户指定的图像名/ 标签中导出的至少一个关键字的关键短语，或者是从图像的文本注释中得 出的关键短语。在一个优选实施例中，通过对文本内容使用光学字符识别 (OCR)、对场景使用图像场景识别以及对对象(包括人和动物)使用图像 对象识别，识别图像序列的内容。用户提供的图像特性被当作图像元数据 对待，并且可以包括如下项目，例如特定于用户的数据(例如种族划分、 性别、年龄、职业)、图像的创建时间和创建地点的信息，这些项目将被 转换成有意义的名称，或者转换成包含标准化关键字并且描述了最有可能 发生的事件和地点(例如生日、圣诞节、纽约、巴黎、暑假、......)的关 键短语。

在一个实施例中，使用图像内容分析算法来对图像风景进行分类，并 且提供了用于描述图像的元数据，而这些元数据则可以用作搜索项，以便 搜索用关键短语索引的音频伴奏数据库。与该分类相关联的文字或标签同 样被用于导出文本标签(图像元数据)，然后，这些文本标签被用于找到 相关的音频内容。例如，我们可以从其总体的白色中检测到冬天的场景。 这种特性的识别被转换成某个文本元数据(标签)，例如冬天、雪、白色。 然后，这些元数据可以用于找到具有与冬天、下雪等等有关的歌曲文本和 音频元数据的音频。

在一个优选实施例中，关于图像的元数据被合并。例如，时间信息可 以转换成“圣诞节”，而场景分析信息产生(除了别的文字之外)“白色”。 本发明在这个实例中找出“白色圣诞节”以及下雪的声音。

在一个优选实施例中，选定的音频伴奏会在时间上延续，以便覆盖图 像序列，这是因为一般来说，并不希望此类序列为每一个组成图像都跳转 另一个音频伴奏。由此，较为有利的是将可用于图像序列的元数据聚合成 关于整个序列的描述。然后，通过使用聚合元数据，可以选择至少一个适 合整个图像序列的音频伴奏。