[发明专利]基于CNN-LSTM组合模型的黑白图片的着色方法和系统

说明书

本发明公开了一种基于CNN‑LSTM组合模型的黑白图片的着色方法和系统，该方法包括：采集多张彩色初始图像，将多张彩色初始图像转换为多张黑白图像，基于多张彩色图像和多张黑白图像分别形成训练集和测试集；将训练集中的多张黑白图像和多张彩色图像输入CNN‑LSTM卷积神经网络模型中，分别生成黑白和彩色特征图谱，将黑白特征图谱和生成彩色特征图谱进行色彩匹配测试以最终获得着色网络模型；利用着色网络模型对待着色的黑白图像进行着色。本发明可以使最终得到的着色网络模型的着色准确度得到提升，自动化地对黑白图像进行着色，消除了各逐帧图片的颜色不一致性，从而可以产生更平滑的色彩图像，并获得整体美观的观看体验。

技术领域

本申请涉及图像识别技术领域，特别是涉及基于CNN-LSTM组合模型的黑白图片的着色方法和系统。

背景技术

图像着色是一种图像增强的基本手段，是一种为图像或视频添加颜色的计算机辅助处理技术，通过对黑白图片补色可以得到更好的视觉效果，在娱乐、教育和科研方面以及医疗等方面都有非常广泛的应用。

现有技术中的图像着色方法主要包括以下两种，一种是基于用户提示的着色方法，另一种是不需任何着色提示即可对黑白图片进行着色。第一种着色方法需要人工干预，增加了人力成本和时间成本；第二种着色方法通过采用深度学习方法，该方法使用低级视觉片和空间像素坐标作为深度神经网络的输入，从单个图像自动提取适合用户指定笔画的特征。使用深度神经网络作为分类器，根据整个图像上的提取特征来估计用户笔画概率，这些概率表示每个像素属于每个笔画的可能性；尽管这种着色方法实现了自动化。但是该方法的着色效果不佳，着色单一和准确率也相对较低。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于CNN-LSTM组合模型的黑白图片的着色方法，该方法包括以下步骤：

采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；

将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，基于所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；

将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；

利用所述着色网络模型对待着色的黑白图像进行着色。

可选地，所述多张彩色初始图像是从原始视频中提取的帧图片。

可选地，所述多张彩色初始图像来源于ImageNet数据集。

可选地，所述CNN-LSTM卷积神经网络模型中的CNN结构包括多组转换层和全连接层，每组转换层包括卷积层和池化层，所述全连接层连接于池化层后。

可选地，所述生成所述黑白特征图谱包括以下子步骤：

将多张黑白图像输入到卷积层获得第一特征图谱；

将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；

利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；

将所述联合特征输入Softmax层以对黑白图像中的对象进行分类并生成CIE Lab颜色空间数据；