[发明专利]一种基于深度学习的自然图像抠图方法

权利要求书

1.一种基于深度学习的自然图像抠图方法，其特征在于，包括步骤：

S1：获取抠图数据集，把所述抠图数据集中样本划分为训练集与测试集；

S2：搭建具有编码器-解码器结构的自然图像抠图模型，该模型中所述编码器的下采样倍数为4，结合普通卷积和空洞卷积操作；编码器顶部连接一个空洞空间金字塔池化模块；所述解码器包含全局语境模块，用于融合所述编码器与解码器对应的高层特征；

步骤S2中，所述编码器由5个stage组成，在stage1和stage2中使用普通卷积和步长为2的最大池化操作，把stage3和stage4中最大池化操作的步长设为1，去除stage5的池化操作，以上结构使得所述编码器的下采样倍数为4；在stage4和stage5引入空洞卷积操作；把所有全连接层替换成一层卷积核大小为1的卷积层；

步骤S2中所述解码器包括4个阶段：

阶段D4：对输出自所述空洞空间金字塔池化模块的特征图进行卷积操作，利用所述全局语境模块对所得特征图和所述编码器stage5的输出进行融合，利用所述编码器stage4最大池化操作保留的最大值坐标信息，对全局语境模块输出的特征图进行反池化操作，步长设置为1，使特征图尺度保持不变；

阶段D3：对输出自阶段D4的特征图进行卷积操作，利用所述全局语境模块对所得特征图和所述编码器stage4的输出进行融合，利用所述编码器stage3最大池化操作保留的最大值坐标信息，对全局语境模块输出的特征图进行反池化操作，步长设置为1，使特征图尺度保持不变；

阶段D2：对输出自阶段D3的特征图进行卷积操作，利用所述编码器stage2最大池化操作保留的最大值坐标信息，对所得特征图进行反池化操作，步长设置为2，使特征图上采样2倍；

阶段D1：对输出自阶段D2的特征图进行卷积操作，利用所述编码器stage1最大池化操作保留的最大值坐标信息，对所得特征图进行反池化操作，步长设置为2，使特征图上采样2倍，尺度恢复原图大小，对所得特征度进行两次卷积操作，通道数降为1，最后通过sigmoid函数输出预测的alpha蒙版；

S3：初始化并训练模型，利用所述训练集中的alpha蒙版生成三元图，把原图与三元图作为模型输入，对模型进行训练，模型输出为预测的alpha蒙版，计算预测的alpha蒙版与真实alpha蒙版之间的误差，保存在所述测试集上表现最好的模型；

S4：将需要测试的图片及对应的三元图输入到已训练好的自然图像抠图模型中，得到预测的alpha蒙版。

2.根据权利要求1所述的基于深度学习的自然图像抠图方法，其特征在于，步骤S1中，对训练集和测试集分别进行数据增强，方法是：

利用前景图和alpha蒙版把同一前景目标融合进不同的背景中，融合公式为：

I_i＝α_i*F_i+(1-α_i)*B_i

式中，i表示某一个像素，I_i表示像素颜色，α_i表示透明度，F_i表示前景，B_i表示背景。

3.根据权利要求1所述的基于深度学习的自然图像抠图方法，其特征在于，所述最大池化操作需返回最大值像素的坐标信息；

所述空洞空间金字塔池化模块用于解决特征多尺度问题，具体方法为：在所述编码器顶部连接五路并行分支，前四路分支分别使用空洞率为1、5、9、16的空洞卷积操作对所述编码器输出的特征图作进一步特征提取，最后一路对所述编码器输出的特征图进行全局平均池化操作得到一维向量，利用双线性插值法对所述向量上采样至所述编码器输出的特征图大小，对所述五路并行分支的特征图在通道方向进行拼接。