[发明专利]一种基于语义和内容的快速图像检索方法及装置

权利要求书

1.基于语义和内容的快速图像检索方法，其特征在于，所述快速图像检索方法包括：

步骤一、构建语义分割网络；

步骤二、将离线数据库中所有图像输入语义分割网络，得到每幅图像的一种或多种语义标签；

步骤三、将语义标签全部相同的图像归为一类，得到多个语义数据库，将每个语义数据库对应的语义标签转换为唯一数字标签，并采用数字标签对相应的语义数据库进行标记；

步骤四、将待检索图像输入语义分割网络，得到待检索图像的语义标签；

步骤五、将待检索图像的语义标签转换为数字标签；

步骤六、确定与待检索图像具有相同数字标签的语义数据库，并基于内容检索的方式，在确定的语义数据库中检索与待检索图像相匹配的图像。

2.如权利要求1所述的基于语义和内容的快速图像检索方法，其特征在于，将单张图像I_test的一种或多种语义标签转化成唯一数字标签：

l＝Λ·Ω

转化向量Λ＝[2⁰,2¹,…,2^c]，c表示语义类别的数量，语义判别向量Ω＝[ω₁,ω₂,…,ω_c]^T，其中：

S_i表示语义标签，语义数据库为S＝[S₁,S₂,…,S_c]。

3.根据权利要求2所述的基于语义和内容的快速图像检索方法，其特征在于，所述语义分割网络包括全卷积网络、区域候选网络和感兴趣区域子网；

全卷积网络根据输入的图像，输出该图像的特征图；

区域候选网络根据全卷积网络输出的特征图，生成多个候选区域；

感兴趣区域子网根据全卷积网络输出的特征图，生成每个语义类别对应的k×k个位置敏感分数图，每个位置敏感分数图有c+1个通道输出；感兴趣区域子网的池化层利用候选区域对每个位置敏感分数图进行池化操作，并输出的c+1维特征图按维度求和得到c+1维的向量；将得到的c+1维的向量代入到多项逻辑斯蒂回归公式中，获得该候选区域中的目标属于每个类别的概率，并按照超过阈值φ且最大的概率将其归类，确定输入图像的语义标签。

4.根据权利要求3所述的基于语义和内容的快速图像检索方法，其特征在于，所述步骤一中，构建语义分割网络的损失函数L包括：

分类损失函数L_cis和位置损失函数L_reg；

分类损失函数L_cis，用于表征训练语义分割网络后，语义分割网络预测的语义区域与实际语义区域之间语义分类结果的损失；

位置损失函数L_reg，用于表征训练语义分割网络后，语义分割网络预测的语义区域与实际语义区域之间语义在图像中的位置检测结果的损失。

5.根据权利要求4所述的基于语义和内容的快速图像检索方法，其特征在于，损失函数L为：

其中，s表示逻辑斯蒂回归响应，c*表示感兴趣区域子网输出的实际语义区域的标签，c*＞0表示分类正确，表示c*的逻辑斯蒂回归响应，λ表示超参数，用于表示分类损失和位置损失的相对重要性，t_x,y,w,h表示感兴趣区域子网预测的候选区域的位置，x,y,w,h表示候选区域矩形框的左上角横纵坐标矩形宽度及高度，t表示t_x,y,w,h的简写，t*表示实际语义区域位置；

分类损失函数为：

位置损失函数为：

平滑L₁损失函数为：

x＝t_j-t_j*。