[发明专利]基于多模元数据和结构化语义描述符来产生注释标签

说明书

技术领域

本发明涉及数字图像及其捕捉，具体地，涉及产生数字图像的注释标签。

背景技术

过去近十年来，数字照相和视频的发展带来了许多新的和有趣的挑战，涉及人们如何组织、存储和检索其多媒体库。与文本数据不同，目前为止，用于描述、索引和检索视觉媒体(如图像和视频内容)的自动方法受到限制。现有多媒体搜索引擎典型地依赖于手动产生的基于文本的注释(最多由EXIF数据支持)，如进行捕捉的时间、所使用的摄像机型号等等。

照片博客站点(如Flickr)还利用了通过支持地图工具的位置标签处理，但是仍需要作者手动地将用户产生的内容放置在全球地图上，这在实际中对于用户而言是一项乏味的任务。一些专业摄像机集成了GPS接收机以提供所捕捉图像的自动化地理标签处理。类似地，网络连接的捕捉设备可能连接至外部信息源(如GPS电话)以获得地理标签处理协助。

另外，针对给定数字图像数据而建议注释标签的现有方法包括基于组或协作数据(如公共的空间、时间和社会上下文)的方法。组信息可以用于推导针对给定媒体内容的描述符。其他方法包括：基于语音识别的内容标签处理，其中根据所选语音识别词典来识别和解码输入语音。在某种意义上，这种标签处理依赖于用户语音的接收与媒体的捕捉之间的紧密时间关系。

更广泛地，媒体标签处理的现有方法通常依赖于输入的低级图像或音频特征来注释或预测照片的标签。此外，已知方法通常依赖于来自用户团体的、网络提供的元数据(例如标签处理信息的聚合数据库)，这在用户隐私方面以及在潜在数据访问/传送延迟方面是不利的。

发明内容

在一个实施例中，一种用于产生数字图像的注释标签的方法包括：维持对人类有意义的词或短语的库，将词或短语根据多个定义的图像描述类别组织为类别条目。该方法还包括：接收与给定数字图像的捕捉相关联的上下文元数据；以及通过将上下文元数据映射至库中，选择特定类别条目作为数字图像的词汇元数据。另外，该方法包括：根据定义的推导逻辑规则的集合对词汇元数据进行逻辑组合，产生数字图像的注释标签，该推导逻辑规则基于定义的图像描述类别。

在另一实施例中，一种用于产生数字图像的注释标签的处理设备包括：存储器，用于维持对人类有意义的词或短语的库，词或短语根据多个定义的图像描述类别被组织为类别条目；以及抽象处理器，被配置为：接收数字图像的上下文元数据，该上下文元数据与数字图像的捕捉相关联；以及通过将上下文元数据映射至库中，选择特定类别条目作为数字图像的词汇元数据。该处理设备还包括：规则处理器，被配置为根据定义的推导逻辑规则的集合对词汇元数据进行逻辑组合，产生数字图像的注释标签，该推导逻辑规则基于定义的图像描述类别。

当然，本发明不限于上述特征和优点的简要概括。实际上，通过阅读以下详细描述以及通过查看附图，本领域技术人员可以认识到本发明的其他特征和优点。

附图说明

图1是图像捕捉设备和所包括的用于自动产生所捕捉数字图像的注释标签的处理设备的一个实施例的框图。

图2是对人类有意义的词或短语的库的一个实施例的图，所述词或短语根据多个定义的图像描述类别被组织为类别条目。

图3是可以包括在定义的推导逻辑规则的集合中的规则的一个实施例的图，所述推导逻辑规则基于例如图2所示的库中定义的图像描述类别。

图4和5是用于产生注释标记(图4)和用于将这种产生适配于用户反馈(图5)的方法实施例的逻辑流程图。

图6是使用示例数据的标签产生操作和数据流的一个实施例的图。

图7和8是在注释标签产生中使用的推导逻辑规则的示例实施例的图。

图9和10是用于确定在产生注释标签或对注释标签进行排序时使用的加权值的示例模糊逻辑或其他基于成员关系的实现的图。

具体实施方式

图1示意了电子设备10。在有利但非限制性实施例中，设备10包括具有图像捕捉能力的摄像机电话或其他移动终端。尽管设备10的具体架构和功能单元可以根据预期目的而变化，但是如本文所设想，设备10包括：处理设备12，用于产生数字图像的注释标签。本文使用的“数字图像”包含单独的静止图像和相关的图像序列(例如在MPEG电影文件中)。