[发明专利]一种基于改进的卷积神经网络实现图像编辑传播的方法

说明书

一种基于改进的卷积神经网络实现图像编辑传播的方法，首先引入组合卷积来代替传统的卷积，通过这个结构可以提取更加合理的图像特征，并且减少模型的参数量和卷积的操作数。同时引入对错分的背景类进行加权的有偏损失函数，以防止背景类被误着色而造成颜色溢出。该方法包括以下步骤：通过交互的方式对一幅待处理的图像加以笔触；根据笔触从图像中提取训练集和测试集；利用改进的卷积神经网络进行模型训练；利用训练得到的模型进行测试，最终实现图像上色。

技术领域

本发明涉及一种图像编辑传播的方法，特别是一种基于改进的卷积神经网络实现图像编辑传播的方法。

背景技术

随着数字多媒体硬件的发展和软件技术的兴起，图像色彩处理的需求不断增长，在显示设备上进行快速高效的图像颜色处理变得尤其重要。编辑传播是指通过用户交互的方式，用户对图像中不同的物体给予不同的颜色笔触，进行特征提取和识别，实现图像编辑处理的过程。

目前，基于单幅图像的编辑传播算法有很多，主要分为两大类。第一类方法可以通过一些约束，将编辑传播问题转换为一个优化问题，通过解该优化问题实现编辑传播。比如在保持流行结构的约束条件下，通过保持这种流行结构来实现编辑传播。但是在处理片段的图像区域时，需要更多的笔触才能达到满意的效果，并且该类方法往往比消耗计算机的内存以及处理时间。

另一类方法是将该问题转换为一个分类问题，可以使用一些分类模型实现编辑传播。使用卷积神经网络等分类模型对笔触覆盖的像素点提取特征，根据提取到的特征将不同的像素点染为不同的颜色，从而将该问题转换为一个分类问题。然而当我们使用卷积提取特征时，也意味着我们假定了模型的几何变换是固定的。这样先验知识不利于模型的泛化，尤其是对训练集较小的数据集。

发明内容

本发明要克服图像编辑传播中对笔触要求较高、模型泛化能力不好导致图像上色不好的问题，提出一种基于改进的卷积神经网络实现图像编辑传播的方法，该方法能提取更加合理的图像特征，同时能够改善编辑传播过程中颜色溢出的问题。

本发明使用组合卷积来提取笔触覆盖的像素点的特征，并结合有偏的损失函数可以实现基于较少笔触的实现编辑传播。同时，由于本发明使用了组合卷积，使得模型的接受视野更加合理，利用该结构可以一定程度上改善编辑传播过程中颜色溢出的情况，取得较好的视觉效果。本发明使用组合卷积构建了一个双分支的卷积神经网络模型，通过该模型可以实现图像的有效上色。

本发明的一种基于改进的卷积神经网络实现单幅图像编辑传播的方法，具体步骤如下：

1)、通过交互的方式对一幅待处理的图像加以笔触；

2)、根据笔触从图像中提取训练集和测试集；

3)、利用改进的卷积神经网络进行模型训练；

4)、利用训练得到的模型进行测试，实现图像编辑传播；

进一步，所述的步骤1)中的给待处理的图像加以笔触主要包括以下步骤：

(11)对于一幅待处理的图像，通过photoshop等图像处理软件，可以对该图像加以任意颜色的笔触，效果如图1中的颜色笔触.

进一步，所述的步骤2)中数据集的提取主要包括以下步骤：

(21)训练集的提取：在笔触覆盖的所有像素点中，随机选取10％的像素点，并且以图像左上角作为坐标原点，得到这些像素点的相对坐标；然后分别以这些坐标为中心，选取9*9的邻域，得到大小为9*9的图像小片，并记录这些中心坐标的坐标值；这里在提取9*9邻域的时候，可能会发生邻域的选取超出边界的情况，处理的办法是分别对图像的四条边进行四个像素点的扩充，扩充的像素点的值用零填充；最后将这些像素点所覆盖的笔触颜色作为该图像小片的标签；