[发明专利]一种基于CycleGAN的果实遮挡恢复方法及系统

权利要求书

1.一种基于CycleGAN的果实遮挡恢复方法，其特征在于，所述基于CycleGAN的果实遮挡恢复方法包括：

分别采集果实遮挡和果实未遮挡两种风格的图像，进行裁剪归一化的预处理；

使用CycleGAN网络进行风格迁移训练，利用训练好的CycleGAN模型实现对果实遮挡部分的修复；

基于图像颜色空间特征分割原始图像和修复图像实现果实遮挡恢复；

所述基于CycleGAN的果实遮挡恢复方法具体包括以下步骤：

步骤一，分别采集果实遮挡和果实未遮挡两种风格的图像；

步骤二，对采集图像进行预处理，提取果实部分轮廓；将果实部分图像裁剪出来，并将裁剪后的图像进行尺寸归一化；

步骤三，将果实遮挡和未遮挡风格图像输入到CycleGAN网络进行风格迁移训练；所述CycleGAN网络包括两个生成器和两个鉴别器，分别对应两种图像风格的相互生成和鉴别，损失函数包含两种风格图像相互生成的对抗损失和循环一致性损失；其中，所述生成器为G:X→Y和F:Y→X，对应的鉴别器为D_Y和D_X，生成器G,F在样本X,Y间构成循环结构；

所述CycleGAN网络的损失函数L(G,F,D_X,D_Y)包括两个生成对抗损失L_GAN(G,D_Y,X,Y)、L_GAN(F,D_X,Y,X)和一个循环一致性损失L_cyc(G,F)：

；

L(G,F,D_X,D_Y)＝L_GAN(G,D_Y,X,Y)+L_GAN(F,D_X,Y,X)+λL_cyc(G,F)；

目标函数为：

步骤四，将待恢复的果实遮挡图像输入到训练好的CycleGAN模型中，获得相同尺寸的未遮挡风格的修复图像；将预处理后待恢复的果实遮挡图像img_cover输入到训练好的CycleGAN模型中，获得相同尺寸的未遮挡风格的修复图像img_repair；

步骤五，基于HSV图像颜色空间特征，从原始图像中获得遮挡部分模板；将img_cover映射至HSV空间，根据HSV颜色空间特征，从原始果实遮挡图像中提取遮挡部分模板mask：

其中，(H_(i,j),S_(i,j),V_(i,j))表示img_cover在(i,j)位置对应的HSV像素值，(H,S,V)_{color_low}和(H,S,V)_{color_high}表示特定颜色对应HSV像素值的下限和上限值；

步骤六，根据图像尺寸一致的特征，从修复图像中获得模板位置对应的修复图像，代替相同位置的原始图像；根据图像尺寸一致的特征，在原始图像中，从修复图像img_repair中获得mask模板位置对应的修复图像代替相同位置的原始图像：

2.如权利要求1所述的基于CycleGAN的果实遮挡恢复方法，其特征在于，步骤一中，所述果实遮挡风格图像，包括枝叶对果实各个角度各种比例的遮挡情况；所述果实未遮挡风格图像，包括无遮挡下各个角度的果实图像；通过网络爬图、公共数据集和实际拍摄视频分解方法获得。

3.如权利要求1所述的基于CycleGAN的果实遮挡恢复方法，其特征在于，步骤二中，所述图像预处理，包括：

通过灰度化、二值化、中值滤波以及边缘检测操作，获取果实边缘坐标，进行裁剪操作，使得图像边缘和果实边缘一致；

将裁剪后的图像进行尺寸归一化，转化为m×n尺寸。