[发明专利]基于多模元数据和结构化语义描述符来产生注释标签

权利要求书

1.一种用于产生数字图像(22)的注释标签(28)的方法，其特征在于：

维持对人类有意义的词或短语的库(16)，根据多个定义的图像描述类别(70)将所述词或短语组织为类别条目(72)；

接收与数字图像(22)的捕捉相关联的数字图像(22)的上下文元数据(20)；

通过将所述上下文元数据(20)映射至所述库(16)中，选择特定类别条目(72-1，72-2)作为所述数字图像(22)的词汇元数据(24)；以及

根据定义的推导逻辑规则(30)的集合对所述词汇元数据(24)进行逻辑组合，产生所述数字图像(22)的注释标签(28)，所述推导逻辑规则基于所述定义的图像描述类别(70)。

2.根据权利要求1所述的方法，其特征还在于：

维持库(16)的步骤包括：维持针对每个定义的图像描述类别(70)的词或短语(72-1，72-2)的一个或多个分级集合，每个分级集合以递增的抽象等级表示一系列词或短语。

3.根据权利要求1所述的方法，其特征还在于：

从数字图像(22)导出一个或多个图像特征(80)，并且除了将所述上下文元数据(20)映射至所述库(16)之外，还将所述一个或多个图像特征(80)映射至所述库(16)，以从所述图像描述类别(70)中的一个或多个中选择特定类别条目(72-1，72-2)，作为数字图像(22)的词汇元数据(24)。

4.根据权利要求1所述的方法，其特征还在于：

定义的推导逻辑规则(30)的集合中的至少一个规则附加地或备选地基于一项或多项上下文元数据(20)；其中，所述产生数字图像(22)的注释标签(28)的步骤包括：根据定义的推导逻辑规则(30)的集合，对词汇元数据(24)和所述一项或多项上下文元数据(20)进行逻辑组合。

5.根据权利要求1所述的方法，其特征还在于：

定义的推导逻辑规则(30)的集合包括条件测试的集合，所述条件测试基于所述定义的图像描述类别(70)中的一个或多个的变量条目；其中，所述产生数字图像(22)的注释标签(28)的步骤包括：代入构成词汇元数据(24)的类别条目(72-1，72-2)作为变量条目中的对应条目的值，然后根据所代入的类别条目(72-1，72-2)对所述条件测试的集合进行逻辑评估。

6.根据权利要求5所述的方法，其特征还在于：

基于能够从上下文元数据(20)可靠地推导出每个特定类别条目(72-1，72-2)的程度，将确信度或模糊逻辑加权值分配给构成词汇元数据(24)的每个所选类别条目(72-1，72-2)；其中，所述对词汇元数据(24)进行逻辑组合以产生注释标签(28)的步骤包括：基于所述确信度或模糊逻辑加权值，对条件测试的真实性执行加权评估。

7.根据权利要求1所述的方法，其特征还在于：

所述接收与数字图像(22)的捕捉相关联的上下文元数据(20)的步骤包括：接收时间数据、位置数据、温度数据、图像捕捉设备朝向数据、环境光照数据以及环境噪声数据中至少一项。

8.根据权利要求1所述的方法，其特征还在于：

输出所产生的注释标签(28)中的一个或多个以便用户检查，并基于记录或检测用户进行的对应注释标签选择或修改，对所述库(16)和所述定义的推导逻辑规则(30)的集合中的至少一个进行适配。

9.根据权利要求8所述的方法，其特征还在于：

所述对所述库(16)和所述定义的推导逻辑规则(30)的集合中的至少一个进行适配的步骤包括以下至少一项：基于用户进行的对应注释标签选择或修改，添加新的类别条目(72)和改变类别条目(72)。

10.根据权利要求1所述的方法，其特征还在于：

所述维持对人类有意义的词或短语的库(16)的步骤包括：接收或存储缺省库，以及响应于对针对一个或多个数字图像(22)产生的注释标签(28)的用户选择和修改向缺省库动态更新或添加类别条目(72)。

11.根据权利要求1所述的方法，其特征还在于：

向用户输出所产生的注释标签(28)中的一个或多个，作为针对数字图像(22)的建议注释标签，并与数字图像(22)相结合地记录用户进行的对应注释标签输入。