[发明专利]数字图像的语义标签的获取方法及装置

权利要求书

1.一种数字图像的语义标签的获取方法，其特征在于，所述方法包括：

获取数字图像；

查找与所述数字图像对应的语义标签模型，所述语义标签模型用于表征数字图像与语义标签的对应关系，所述语义标签用于对数字图像进行文字说明，其中，所述查找与所述数字图像对应的语义标签模型包括：对所述数字图像进行类型分析，确定所述数字图像的类型信息，所述类型信息包括数字、文字、人物、动物、食物中的至少一项，查找与所述类型信息对应的语义标签模型；

将所述数字图像导入所述语义标签模型，得到对应所述数字图像的全图识别信息和局部识别信息，将所述全图识别信息和局部识别信息组合成语义标签，所述全图识别信息是对所述数字图像的概括性描述，所述局部识别信息是对所述数字图像的具体描述。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

构建语义标签模型的步骤，包括：

分别从数字图像集合和语义标签集合中提取数字图像和语义标签；

将所述数字图像按类型信息分为至少一个类型数字图像集合，所述类型信息包括数字、文字、人物、动物、食物中的至少一项；

将所述语义标签按所述类型信息分为至少一个类型语义标签集合；

利用机器学习方法，基于类型数字图像集合中的类型数字图像和与所述类型数字图像相关联的类型语义标签集合中的类型语义标签，训练得到对应所述类型信息的至少一个语义标签模型。

3.根据权利要求2所述的方法，其特征在于，所述将所述数字图像按类型信息分为至少一个类型数字图像集合还包括：

对所述数字图像进行识别，得到类型信息的步骤。

4.根据权利要求2所述的方法，其特征在于，所述利用机器学习方法，基于所述类型数字图像和与所述类型数字图像相关联的类型语义标签，训练得到对应所述类型信息的至少一个语义标签模型包括：

对所述类型数字图像进行细粒度识别，得到对应所述类型数字图像的细粒度信息，所述细粒度为所述类型信息的下级分类；

查找与所述细粒度信息对应的类型语义标签，当无法找到一条完全符合细粒度信息的语义标签时，通过从多个语义标签中提取对应关键词的方法得到该细粒度信息的语义标签；

利用机器学习方法，基于所述细粒度信息和与所述细粒度信息对应的类型语义标签，训练得到对应所述类型信息的语义标签模型。

5.根据权利要求4所述的方法，其特征在于，所述对所述类型数字图像进行细粒度识别，得到对应所述类型数字图像的细粒度信息还包括：

对所述类型数字图像进行全图识别得到全图识别信息；

从所述类型数字图像中确定注意力区域，所述注意力区域为对所述类型数字图像进行细粒度识别的区域；

通过细粒度对所述注意力区域内的图像进行识别得到局部识别信息；

将所述全图识别信息和局部识别信息组合成细粒度信息。

6.一种数字图像的语义标签的获取装置，其特征在于，所述装置包括：

数字图像获取单元，用于获取数字图像；

语义标签模型查询单元，用于查找与所述数字图像对应的语义标签模型，所述语义标签模型用于表征数字图像与语义标签的对应关系，所述语义标签用于对数字图像进行文字说明，所述语义标签模型查询单元包括：类型信息确定子单元，用于对所述数字图像进行类型分析，确定所述数字图像的类型信息，所述类型信息包括数字、文字、人物、动物、食物中的至少一项，语义标签模型查询子单元，用于查找与所述类型信息对应的语义标签模型；

语义标签获取单元，用于将所述数字图像导入所述语义标签模型，得到对应所述数字图像的全图识别信息和局部识别信息，将所述全图识别信息和局部识别信息组合成语义标签，所述全图识别信息是对所述数字图像的概括性描述，所述局部识别信息是对所述数字图像的具体描述。