[发明专利]一种相似图像检索方法、系统、设备及存储介质

权利要求书

1.一种相似图像检索方法，其特征在于，所述相似图像检索方法包括：

将待测试缺损绘画图像输入至预设的语义修复模型中，获得所述预设的语义修复模型输出的粗修复绘画图像；

提取所述粗修复绘画图像中多个尺度的像素神经特征和像素RGB特征；

根据多个尺度的所述像素神经特征和所述像素RGB特征，获取第一预设数量的相似像素；

验证所述第一预设数量的所述相似像素的空间一致性，选取第二预设数量的空间一致的特征匹配对；

根据所述特征匹配对，计算所述粗修复绘画图像与其他绘画图像之间的密集对应关系，并根据所述密集对应关系进行相似图像检索，获得与所述粗修复绘画图像相似的相似绘画图像。

2.根据权利要求1所述的相似图像检索方法，其特征在于，所述语义修复模型通过以下方式得到：

基于U-Net网络，构建图像修复模型和所述图像修复模型的损失函数；

通过图像修复数据集和缺损掩膜训练所述图像修复模型，直至所述损失函数收敛，获得训练好的图像修复模型；

采用缺损绘画图像样本对所述训练好的图像修复模型进行参数微调，获得所述语义修复模型。

3.根据权利要求2所述的相似图像检索方法，其特征在于，所述构建所述图像修复模型的损失函数包括：

其中，M表示所述缺损掩膜，G(w,x)表示所述第一图像修复模型输出的完整修复图像，y表示所述完整修复图像对应的完整真实图像，λ_i表示损失函数i的权重因子，L_i表示所述损失函数i。

4.根据权利要求1所述的相似图像检索方法，其特征在于，所述提取所述粗修复绘画图像中多个尺度的像素神经特征和像素RGB特征，包括：

将所述粗修复绘画图像输入至ImageNet预训练的VGG19模型中；

通过所述ImageNet预训练的VGG19模型提取所述粗修复绘画图像中多个尺度的所述像素神经特征和所述像素RGB特征。

5.根据权利要求4所述的相似图像检索方法，其特征在于，所述根据多个尺度的所述像素神经特征和所述像素RGB特征，获取第一预设数量的相似像素，包括：

以任意像素p为中心，取第一预设尺寸的第一像素块；

通过所述ImageNet预训练的VGG19模型提取所述第一像素块对应的像素神经特征和像素RGB特征；

将所述第一像素块对应的像素神经特征和像素RGB特征与完整数据库中的图像进行特征匹配，构建特征匹配对应关系；

根据所述特征匹配对应关系，从所述完整数据库中选取第一预设数量的相似像素：

其中，k表示所述第一预设数量，q表示所述相似像素，x_t,p表示所述第一像素块，x_m,n表示所述完整数据库中的图像x_m以n为中心的第二预设尺寸的第二像素块，S(x_t,p,x_m,n)表示所述第一像素块和所述第二像素块的相似性度量，所述相似性度量为：

其中，φ(x_t,p)表示所述第一像素块对应的像素神经特征和像素RGB特征，φ(x_m,n)表示所述第二像素块对应的像素神经特征和像素RGB特征。

6.根据权利要求5所述的相似图像检索方法，其特征在于，所述验证所述第一预设数量的所述相似像素的空间一致性，选取第二预设数量的空间一致的特征匹配对，包括：

定义所述像素p的相邻像素为验证区域；

对所述第一预设数量的相似像素中的每个像素取相同位置的相邻像素进行单独匹配，获得相邻像素匹配度；

根据所述相邻像素匹配度，对所述第一预设数量的相似像素与所述像素p进行相似度排序，并采用K近邻方法选取第二预设数量的空间一致的特征匹配对。