[发明专利]一种基于外观设计专利的多模态图像检索方法

说明书

本发明涉及一种基于外观设计专利的多模态图像检索方法，包括以下步骤：步骤1)：提出有效内容提取算法提取图像有效内容，并对图像进行预处理操作；步骤2)：提取图像文本特征；步骤3)：提取图像快速局部方向模式视觉特征；步骤4)：将图像文本特征与视觉特征融合，对图像进行多模态检索。本发明提出一种融合文本特征与底层视觉特征的多模态图像检索算法，充分发挥了不同模态特征的优点，提高了检索准确率，该方法优于已有的单模态检索方法，可以很好地满足实际应用的需要。

技术领域

本发明属于外观设计专利中图像检索技术领域，具体涉及一种基于外观设计专利的多模态图像检索方法。

背景技术

随着我国经济的快速发展，外观设计专利已成为保护企业知识产权、维护自身利益、保护发明创造的重要途径。实现外观设计专利的快速查询，一方面能帮助用户获取指定的专利信息，减少模仿纠纷，另一方面对实现真正的现代化管理、增强企业国际竞争力具有非常重要的作用。

不同于互联网上复杂多变的图像，外观设计专利图像保护的是图像的纹理及形状信息，因此，在对图像提取底层视觉特征时，主要以纹理和形状特征为主，以颜色特征为辅。由于语义鸿沟的存在，仅依据图像底层视觉特征进行检索存在限制性，无法满足人们检索需求。

外观设计专利数据分为文本信息和图像信息，而利用图像本身的视觉特征提取图像的语义特征，实现外观设计专利图像的多模态检索。这种方法因语义鸿沟的存在，影响语义特征提取的正确率，进而影响检索效果。

发明内容

针对上述现有技术中存在的问题，本发明的目的在于提供一种可避免出现上述技术缺陷的基于外观设计专利的多模态图像检索方法。

为了实现上述发明目的，本发明采用的技术方案如下：

一种基于外观设计专利的多模态图像检索方法，包括以下步骤：

步骤1)：提出图像有效内容提取算法IECE(Image Effective ContentExtraction Algorithm)提取图像有效内容，并根据图像直方图范围动态选择对图像进行灰度拉伸预处理操作；

其中，所述图像有效内容是指属于图像信息且在专利审查中对比的图像内容；

步骤2)：提取图像文本特征；

步骤3)：提取图像快速局部方向模式视觉特征FLDP(Fast Local DirectionalPattern)；

步骤4)：将图像文本特征与视觉特征融合，对图像进行多模态检索。

进一步地，所述步骤1)具体为：

步骤A：初步确定图像无关内容范围；

其中，所述图像无关内容是指属于图像信息但在专利审查中忽略的图像内容；

步骤B：利用基于一阶微分法判断有效边界；

其中，所述有效边界指有效内容与无关内容邻接处属于图像有效内容对应的行或列所在区域，具有唯一性和不变性；

步骤C：利用回溯确定有效边界。

进一步地，所述步骤A具体为：

步骤A1：在列方向判断图像有效内容，如公式(1)和公式(2)所示；

num＝num+1，if(abs(p_i，j-p_i+1，j)≤threshold_rate) (1)

其中，num为统计的每列相邻像素值差值大于阈值的像素点数目，初始值为0，j取值范围为[0，Hmax]；threshold_rate为差值阈值；