[发明专利]一种基于外观设计专利的多模态图像检索方法

权利要求书

1.一种基于外观设计专利的多模态图像检索方法，其特征在于，包括以下步骤：

步骤1)：提出图像有效内容提取算法IECE提取图像有效内容，并根据图像直方图范围动态选择对图像进行灰度拉伸预处理操作；

其中，所述图像有效内容是指属于图像信息且在专利审查中对比的图像内容；

步骤2)：提取图像文本特征；

步骤3)：提取图像快速局部方向模式视觉特征FLDP(Fast Local DirectionalPattern)；

步骤4)：将图像文本特征与FLDP特征融合，对图像进行多模态检索；

所述步骤1)中所述的图像有效内容提取算法具体为：

步骤A：初步确定图像无关内容范围；

其中，所述图像无关内容是指属于图像信息但在专利审查中忽略的图像内容；

步骤B：利用基于一阶微分法判断有效边界；

其中，所述有效边界指有效内容与无关内容邻接处属于图像有效内容对应的行或列所在区域，具有唯一性和不变性；

步骤C：利用回溯确定有效边界。

2.根据权利要求1所述的基于外观设计专利的多模态图像检索方法，其特征在于，所述步骤A具体为：

步骤A1：在列方向判断图像有效内容，如公式(1)和公式(2)所示；

num＝num+1，if(abs(p_i，j-p_i+1，j)≤threshold_rate) (1)

其中，num为统计的每列相邻像素值差值大于阈值的像素点数目，初始值为0，j取值范围为[0，Hmax]；threshold_rate为差值阈值；Hmax为图像无关内容宽度阈值；rate为一固定值；

步骤A2：在行方向判断图像有效内容，如公式(3)和公式(4)所示；

num＝num+1，abs(p_i，j-p_i，j+1)＞threshold_rate (3)

其中，num为统计的每行相邻像素值差值大于阈值的像素点数目，初始值为0，i取值范围为[0，Wmax]；threshold_rate为差值阈值；Wmax为图像无关内容高度阈值；height代表图像高度值；width代表图像宽度值。

3.根据权利要求1所述的基于外观设计专利的多模态图像检索方法，其特征在于，所述步骤B具体如公式(5)和公式(6)所示：

其中，threshold_gray为差值阈值，rate为一固定值；Gx和Gy求取方式如公式(7)和公式(8)所示：

G_x＝|f(x+1，y)-f(x，y)| (7)

G_y＝|f(x，y+1)-f(x，y)| (8)

f(x，y)为图像在(x，y)处对应像素点的值。

4.根据权利要求1所述的基于外观设计专利的多模态图像检索方法，其特征在于，所述步骤C具体为：

步骤C1：根据方向设置滑动窗口：垂直方向滑动窗口应设置为height*2大小，水平方向滑动窗口大小应为2*width；

步骤C2：初始化滑动窗口；

步骤C3：判断外边缘是否为有效边界，如果是则转向步骤C5，否则转向步骤C4；

步骤C4：根据方向以1个像素点为步长向外移动滑动窗口；

步骤C5：结束回溯。

5.根据权利要求1所述的基于外观设计专利的多模态图像检索方法，其特征在于，所述步骤1)中所述的根据图像直方图范围动态选择对图像进行灰度拉伸预处理操作具体如公式(9)所示：

其中，R_min与R_max分别为整幅图像灰度值中的最小值与最大值，若R_min与R_max之间宽度小于设定阈值，则对图像进行灰度拉伸预处理。