[发明专利]基于生成对抗网络的兵马俑色彩复原方法

说明书

本发明公开了一种基于生成对抗网络的兵马俑色彩复原方法，该方法以GAN网络为基础构建兵马俑色彩复原网络模型，并对该兵马俑色彩复原网络模型进行训练，进而将相应的兵马俑图像进行色彩复原。具体包括：收集兵马俑数据集，通过旋转，裁剪，调节亮度和对比度来扩充数据集；对数据集大小进行调整，通过脚本代码将其调整为大小64x64的图片；对原始GAN网络模型进行调整，使之成为条件GAN模型；将数据批量输入到条件GAN网络中进行训练；训练完成后，对网络模型进行测试。该方法首次将深度学习的方法应用于兵马俑色彩复原中，克服了现有技术中对兵马俑色彩复原的单一性，提高了着色的多样性，同时也加快了对兵马俑图像处理的速度。

技术领域

本发明属于计算机视觉相关技术领域，涉及使用深度学习的方法完成图像的色彩复原，具体涉及一种基于生成对抗网络的兵马俑色彩复原方法。

背景技术

被誉为世界八大奇迹之一的秦始皇兵马俑是我国古代人民智慧的结晶，具有极高的艺术价值。但是如今我们所见到的兵马俑都呈陶灰色，事实上，刚刚出土的兵马俑都是彩色的，出土时彩色大部分已经脱落。经有关专家分析论证可以得出：兵马俑上衣的颜色有粉绿、朱红、枣红等，裤子的颜色一般有粉绿、朱红、粉紫等。时隔两千多年，这些兵马俑历经磨难，遭受自然侵蚀和人为破坏后，早已失去了其原本的面貌，同时在兵马俑破土而出时，由于其结构的特殊性，并且它的留存环境发生了改变，受到了光照，氧化和湿度等多方面的影响，使得原本绚丽多彩的兵马俑骤然变得黯然失色。因此兵马俑表面的色彩复原具有重要的研究意义和价值。

随着计算技术的不断发展，利用计算机技术辅助修复文物成为了现如今的研究热点。近几年来，随着图像处理技术和深度学习的不断发展，使得基于数字图像处理及深度学习的灰度图像彩色化技术成为可能。灰度图像彩色化是目前计算机视觉的研究热点，利用无监督的多样化着色来完成兵马俑上色处理，来虚拟展示兵马俑的颜色具有重要的现实意义和理论价值。

近年来，国内外在深度学习方面对灰度图像上色也颇有研究，其研究的内容大致包括两类，一种就是将单一的灰度图像直接放入到神经网络中进行颜色通道预测；另外一种就是不仅包含有目标图像，同时还对应有源图像，通过对源图像的颜色分布进行统计，再对目标图像进行上色处理。2020年，王婷婷等人提出基于超像素的图像着色变异模型，其方法就是以一个单一的源图像作为输入，首先，将源图像和目标图像分割成超像素，并从亮度通道中的每个超像素中提取多个特征。然后利用自顶向下的特征匹配方案，在源图像中为每个目标超像素找到一组相似的超像素。这些相似的超像素的颜色形成相应的目标超像素的颜色候选集。最后将颜色选择建模为一个变分框架，并同时强制加权非局部自相似性和局部一致性，通过简单的处理后，最终得到目标图像的上色结果。2016年，Richard等人将RGB图像转换为Lab图像进行颜色通道预测，通过将灰度图上色作为分类任务并在训练时使用类重新平衡来增加结果中颜色的多样性来接受问题的潜在不确定性，其算法在测试时被实现为CNN中的前馈传递，并且使用“着色图灵测试”来评估其的算法。2012年，何永强等人提出基于融合和色彩传递的灰度图像彩色化技术，该技术是利用图像融合算法对微光图像和红外图像进行融合，然后利用改进的welsh算法对融合图像进行严格的色彩传递，保证色彩传递的正确性，最后利用最优化算法对未进行色彩传递的区域进行色彩扩展。2020年，蒋文杰等人利用深度学习的卷积神经网络提出了一种基于改进生成对抗网络的上色算法，采用了原模型pix2pix的U型结构的生成器并在其中引入了自注意力机制，以提高输出图像的色彩多样性。

还有利用K均值聚类对图像进行分析，并提出最近区域匹配算法，该算法可以避免多个区域匹配到同一个区域的问题，从而更好的实现两幅图像的颜色迁移，但对于色调单一的图像效果不明显，而且上色单一。

发明内容

针对现有技术对灰白图像着色单一的技术问题，本发明的目的在于，提供一种基于生成对抗网络的兵马俑色彩复原方法。

为了实现上述任务，本发明采取如下的技术解决方案：